라이다-카메라 보정이란?

라이다-카메라 보정은 라이다 출력값과 카메라 출력값을 함께 융합하기 위해 3차원 라이다 점들과 2차원 카메라 데이터 간의 대응점을 설정합니다.

라이다 센서와 카메라는 자율주행, 로보틱스, 내비게이션과 같은 응용 분야에서 3차원 장면을 복원하는 데 널리 사용됩니다. 라이다 센서는 환경의 3차원 구조 정보를 캡처하는 반면 카메라는 색, 텍스처, 모양 정보를 캡처합니다. 라이다 센서와 카메라는 각각 자체 좌표계를 기준으로 데이터를 캡처합니다.

라이다-카메라 보정은 라이다 센서의 데이터와 카메라의 데이터를 동일한 좌표계로 변환하는 작업으로 구성됩니다. 이를 통해 두 센서의 데이터를 융합하고 장면에서 객체를 정확하게 식별할 수 있습니다. 다음 그림은 융합된 데이터를 보여줍니다.

Lidar and camera data fused together

라이다-카메라 보정은 내부 보정과 외부 보정으로 구성됩니다.

내부 보정 — 라이다 센서와 카메라의 내부 파라미터를 추정합니다.
- 제조업체는 사전에 라이다 센서의 내부 파라미터를 보정합니다.
- estimateCameraParameters 함수를 사용하여 초점 거리, 렌즈 왜곡, 왜도와 같은 카메라의 내부 파라미터를 추정할 수 있습니다. 자세한 내용은 Single Camera Calibration 예제를 참조하십시오.
- 또한 카메라 보정기 앱을 사용하여 대화형 방식으로 카메라 파라미터를 추정할 수 있습니다.
외부 보정 — 위치, 방향 등과 같은 라이다 센서와 카메라의 외부 파라미터를 추정하여 센서 간의 상대적 회전 및 평행 이동을 설정합니다.

라이다와 카메라의 외부 보정

라이다 센서와 카메라의 외부 보정은 각 좌표계 간의 기하학적 관계를 설정하는 둘 간의 강체 변환을 추정합니다. 이 과정에서는 체커보드 패턴을 가진 평면 보드와 같은 표준 보정 객체를 사용합니다.

다음 다이어그램은 체커보드를 사용한, 라이다 센서와 카메라에 대한 외부 보정 과정을 보여줍니다.

Lidar camera calibration process

외부 보정에 대한 프로그래밍 방식 워크플로는 다음과 같은 단계로 구성됩니다. 또는 라이다 카메라 보정기 앱을 사용하여 대화형 방식으로 라이다-카메라 보정을 수행할 수도 있습니다.

카메라와 라이다 센서 모두에서 체커보드의 3차원 정보를 추출합니다.
1. 카메라 데이터에서 3차원 체커보드 코너를 추출하려면 세계 좌표에서 estimateCheckerboardCorners3d 함수를 사용합니다.
2. 라이다 포인트 클라우드 데이터에서 체커보드 평면을 추출하려면 detectRectangularPlanePoints 함수를 사용합니다.
체커보드 코너와 체커보드 평면을 사용하여 회전 R과 평행 이동 t로 구성된 강체 변환 행렬을 구합니다. estimateLidarCameraTransform 함수를 사용하여 강체 변환 행렬을 추정할 수 있습니다. 이 함수는 이 변환을 rigidtform3d 객체로 반환합니다.

변환 행렬을 사용하여 다음을 수행할 수 있습니다.

오차를 계산하여 보정의 정확도를 평가합니다. 평가는 estimateLidarCameraTransform을 사용하여 프로그래밍 방식으로 수행하거나 라이다 카메라 보정기 앱을 사용하여 대화형 방식으로 수행할 수 있습니다.
다음 그림에서와 같이 projectLidarPointsOnImage 함수를 사용하여 영상에 라이다 점들을 투영합니다.
fuseCameraToLidar 함수를 사용하여 라이다 출력값과 카메라 출력값을 융합합니다.
대응하는 영상의 2차원 경계 상자를 기반으로 포인트 클라우드에서 3차원 경계 상자를 추정합니다. 자세한 내용은 Detect Vehicles in Lidar Using Image Labels 항목을 참조하십시오.

참고 문헌

[1] Zhou, Lipu, Zimo Li, and Michael Kaess. “Automatic Extrinsic Calibration of a Camera and a 3D LiDAR Using Line and Plane Correspondences.” In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 5562–69. Madrid: IEEE, 2018. https://doi.org/10.1109/IROS.2018.8593660.

참고 항목