보정 및 센서 융합

대화형 방식으로 라이다-카메라 보정을 수행하고 변환 행렬을 추정하고 여러 센서의 데이터를 융합합니다.

제조, 운송, 건설과 같은 응용 분야의 최신 자율 시스템에는 여러 센서가 사용됩니다. 센서 융합은 레이다 센서, 라이다 센서, 카메라 등 여러 센서의 데이터를 한데 합치는 과정입니다. 융합된 데이터를 사용하면 각 센서의 강점을 활용하여 다른 센서의 한계를 극복할 수 있기 때문에 정확도를 높일 수 있습니다.

개별 센서의 데이터를 파악하고 상호 연관시키려면 데이터 간의 기하학적 대응점을 개발해야 합니다. 보정은 이러한 대응점을 개발하는 과정입니다. Lidar Toolbox™ 함수를 사용하여 라이다-카메라 보정을 수행합니다. 시작하려면 라이다-카메라 보정이란? 항목을 참조하십시오.

라이다 카메라 보정기 앱을 사용하여 대화형 방식으로 센서를 보정할 수도 있습니다. 자세한 내용은 Get Started with Lidar Camera Calibrator 항목을 참조하십시오.

Lidar Toolbox는 영상에 라이다 점 투영, 라이다 포인트 클라우드의 색 정보 융합, 카메라 데이터에서 라이다 데이터로의 경계 상자 전송과 같은 다운스트림 워크플로도 지원합니다.

앱

라이다 카메라 보정기

센서 데이터를 융합하기 위해 대화형 방식으로 라이다 센서와 카메라 간의 대응점 설정 (R2021a 이후)

함수

모두 확장

보정 파라미터 검출

`estimateCheckerboardCorners3d`	Estimate world frame coordinates of checkerboard corner points in image (R2020b 이후)
`detectRectangularPlanePoints`	Detect rectangular plane of specified dimensions in point cloud (R2020b 이후)

라이다 및 카메라 보정

estimateLidarCameraTransform Estimate rigid transformation from lidar sensor to camera (R2020b 이후)

센서 데이터 융합

`projectLidarPointsOnImage`	영상 좌표 프레임에 라이다 포인트 클라우드 데이터 투영 (R2020b 이후)
`fuseCameraToLidar`	Fuse image information to lidar point cloud (R2020b 이후)
`bboxCameraToLidar`	Estimate 3-D bounding boxes in point cloud from 2-D bounding boxes in image (R2020b 이후)
`bboxLidarToCamera`	Estimate 2-D bounding box in camera frame using 3-D bounding box in lidar frame (R2021a 이후)

도움말 항목

라이다-카메라 보정이란?
라이다 데이터와 카메라 데이터를 융합합니다.
Calibration Guidelines
Guidelines to help you achieve accurate results for lidar-camera calibration.
Coordinate Systems in Lidar Toolbox
Overview of coordinate systems in Lidar Toolbox.
Get Started with Lidar Camera Calibrator
Interactively calibrate lidar and camera sensors.
rosbag 파일에서 라이다 데이터와 카메라 데이터 읽어오기
이 예제에서는 rosbag 파일에서 영상 데이터와 포인트 클라우드 데이터를 읽고 저장하는 방법을 보여줍니다.

추천 예제

라이다 및 카메라 보정

이 예제에서는 3차원 라이다 센서와 카메라 간의 강체 변환을 추정한 다음 강체 변환 행렬을 사용하여 라이다 데이터와 카메라 데이터를 융합하는 방법을 보여줍니다.

라이브 스크립트 열기

Multi-Lidar Calibration

Calibrate multiple 3-D lidar sensors mounted on a vehicle to estimate a relative transformation between them. Traditional methods, such as marker-based registration, are difficult when the lidar sensors have a negligible overlap between their fields of view (FOVs). The calibration also becomes more difficult as the number of lidar sensors increases. This example demonstrates the use of the trajectories of individual lidar sensors to estimate the transformation between them. This method of calibration is also known as hand-eye calibration.

라이브 스크립트 열기

Detect Vehicles in Lidar Using Image Labels

Detect vehicles in lidar using label data from a co-located camera with known lidar-to-camera calibration parameters. Use this workflow in MATLAB® to estimate 3-D oriented bounding boxes in lidar based on 2-D bounding boxes in the corresponding image. You will also see how to automatically generate ground truth as a distance for 2-D bounding boxes in a camera image using lidar data. This figure provides an overview of the process.

라이브 스크립트 열기

레이다 데이터 및 라이다 데이터의 트랙에서의 수준 융합

이 예제에서는 레이다 센서와 라이다 센서의 측정값에서 객체 수준 트랙 목록을 생성하고 트랙 수준에서의 융합 방식을 사용하여 이들을 더욱더 융합하는 방법을 보여줍니다. 확장 객체 추적기를 사용하여 레이다 측정값을 처리하고 JPDA(Joint Probabilistic Data Association) 추적기를 사용하여 라이다 측정값을 처리합니다. 트랙 수준에서의 융합 방식을 사용하여 이러한 트랙을 더욱더 융합할 수 있습니다. 워크플로 구성도가 아래에 나와 있습니다.

스크립트 열기