검출 및 추적

라이다 포인트 클라우드 데이터에서 객체 검출, 형상 맞춤, 추적

객체 검출은 장면에서 객체를 식별하고 위치를 찾아내는 기법입니다. 이를 통해 포인트 클라우드에서 3차원 객체를 검출할 수 있습니다. Lidar Toolbox™에는 기하학적 형상 맞춤 또는 컨벌루션 신경망을 사용하는 딥러닝을 이용해 객체를 검출할 수 있는 기능이 포함되어 있습니다.

기하학적 형상 맞춤 — 지면 분할 알고리즘과 평면 피팅 알고리즘을 사용하여 포인트 클라우드에 있는 객체의 3차원 기하 도형을 검출합니다. 각 객체의 위치, 크기, 방향을 검출할 수 있습니다. 검출된 객체는 추적, 경로 계획, 레이블 지정과 같은 다운스트림 워크플로에 사용할 수 있습니다.

딥러닝 — 객체 검출을 위한 딥러닝 접근법은 컨벌루션 신경망을 사용하여 객체 검출을 수행합니다. Lidar Toolbox에는 PointPillars 및 Complex-YOLO v4와 같은 신경망을 사용하는 객체 검출 워크플로가 포함되어 있습니다. 사용자 지정 객체 검출 모델을 훈련시키거나 사용 가능한 사전 훈련된 신경망을 사용하여 응용 분야에 맞게 추가로 조정할 수 있습니다. 이 툴박스는 PointPillars 신경망과 SqueezeSegV2 신경망을 위한 CUDA^® MEX 코드 생성도 지원합니다.

객체 추적은 한 장면의 여러 스캔에서 객체의 움직임을 추정하고 추적하는 기법입니다. 객체 추적은 검출된 객체에 고유 ID를 할당하고 포인트 클라우드 프레임에서 객체의 움직임을 추적하는 것으로 구성됩니다. Lidar Toolbox에는 차량, 도로 차선, 도로 경계석에 대한 검출 워크플로와 추적 워크플로가 포함되어 있습니다. 이러한 워크플로의 대부분은 JPDA(Joint Probabilistic Data Association) 추적기를 사용합니다.

Deep learning-based object detection in lidar point clouds.

함수

모두 확장

기하

형상 맞춤

`pcfitcuboid`	Fit cuboid over point cloud (R2020b 이후)
`pcfitplane`	3차원 포인트 클라우드에 평면 피팅

기하 모델

`planeModel`	Object for storing parametric plane model
`cuboidModel`	Parametric cuboid model (R2020b 이후)

딥러닝

훈련 데이터 불러오기

`groundTruth`	Ground truth label data
`combine`	여러 데이터저장소의 데이터 결합
`fileDatastore`	사용자 지정 파일 리더를 사용하는 데이터저장소
`boxLabelDatastore`	Datastore for bounding box label data (R2019b 이후)

훈련 데이터 증대 및 전처리

`randomAffine3d`	Create randomized 3-D affine transformation (R2019b 이후)
`bboxwarp`	Apply geometric transformation to bounding boxes (R2019b 이후)
`pctransform`	3차원 포인트 클라우드 변환

객체 검출

`pointPillarsObjectDetector`	PointPillars object detector (R2021b 이후)
`trainPointPillarsObjectDetector`	Train PointPillars object detector (R2021b 이후)
`lidarLaneDetector`	Create lane detector for lidar data (R2023b 이후)
`detect`	Detect objects using PointPillars object detector (R2021b 이후)
`detectLOAMFeatures`	Detect LOAM feature points from 3-D lidar data (R2022a 이후)
`lidarObjectDetectorTrainingData`	Create training data for lidar object detection (R2022a 이후)

결과 시각화

`showShape`	Display shapes on image, video, or point cloud (R2020b 이후)
`pcshow`	Plot 3-D point cloud

결과 평가

`evaluateObjectDetection`	Evaluate object detection data set against ground truth (R2023b 이후)
`objectDetectionMetrics`	Object detection quality metrics (R2023b 이후)
`bboxOverlapRatio`	Compute bounding box overlap ratio

도움말 항목

Deep Learning with Point Clouds
Learn point cloud processing using deep learning.
Get Started with PointPillars
Define PointPillars network and learn how to perform object detection using the same.
Datastores for Deep Learning (Deep Learning Toolbox)
Learn how to use datastores in deep learning applications.
딥러닝 계층 목록 (Deep Learning Toolbox)
MATLAB^®에서 제공하는 딥러닝 계층에 대해 알아봅니다.

추천 예제

Determine Safe Landing Area for Aerial Vehicles

Demonstrates how to determine a safe landing area for aerial vehicles, such as helicopters and UAVs, by using aerial lidar data.

라이브 스크립트 열기

Lidar Object Detection Using Complex-YOLO v4 Network

Detect objects in point clouds using you only look once version 4 (YOLO v4) deep learning network. In this example, you will

라이브 스크립트 열기

Code Generation for Lidar Object Detection Using SqueezeSegV2 Network

Generate CUDA® MEX code for a lidar object detection network. In the example, you first segment the point cloud with a pretrained network, then cluster the points and fit 3-D bounding boxes to each cluster. Finally, you generate MEX code for the network.

라이브 스크립트 열기

Lidar 3-D Object Detection Using PointPillars Deep Learning

Train a PointPillars network for object detection in point clouds.

라이브 스크립트 열기

Code Generation for Lidar Object Detection Using PointPillars Deep Learning

Generate CUDA® MEX for a PointPillars object detector. For more information, see Lidar 3-D Object Detection Using PointPillars Deep Learning example from the Lidar Toolbox™.

라이브 스크립트 열기

Data Augmentations for Lidar Object Detection Using Deep Learning

Perform typical data augmentation techniques for 3-D object detection workflows with lidar data.

라이브 스크립트 열기

Lane Detection in 3-D Lidar Point Cloud

Detect lanes in lidar point clouds. You can use the intensity values returned from lidar point clouds to detect ego vehicle lanes. You can further improve the lane detection by using a curve-fitting algorithm and tracking the curve parameters. Lidar lane detection enables you to build complex workflows like lane keep assist, lane departure warning, and adaptive cruise control for autonomous driving. A test vehicle collects the lidar data using a lidar sensor mounted on its rooftop.

라이브 스크립트 열기

Curb Detection and Tracking in 3-D Lidar Point Cloud

Detect and track curbs in lidar point clouds. A curb is a line of stone or concrete, that connects the roadway to the sidewalk. Curbs act as delimiters for the drivable area of the road.

라이브 스크립트 열기

Detect, Classify, and Track Vehicles Using Lidar

Detect, classify, and track vehicles by using lidar point cloud data captured by a lidar sensor mounted on an ego vehicle.

라이브 스크립트 열기

Track Vehicles Using Lidar: From Point Cloud to Track List

Track vehicles using measurements from a lidar sensor mounted on top of an ego vehicle. Lidar sensors report measurements as a point cloud. The example illustrates the workflow in MATLAB® for processing the point cloud and tracking the objects. For a Simulink® version of the example, refer to Track Vehicles Using Lidar Data in Simulink (Sensor Fusion and Tracking Toolbox).The lidar data used in this example is recorded from a highway driving scenario. In this example, you use the recorded data to track vehicles with a joint probabilistic data association (JPDA) tracker and an interacting multiple model (IMM) approach.

스크립트 열기

레이다 데이터 및 라이다 데이터의 트랙에서의 수준 융합

이 예제에서는 레이다 센서와 라이다 센서의 측정값에서 객체 수준 트랙 목록을 생성하고 트랙 수준에서의 융합 방식을 사용하여 이들을 더욱더 융합하는 방법을 보여줍니다. 확장 객체 추적기를 사용하여 레이다 측정값을 처리하고 JPDA(Joint Probabilistic Data Association) 추적기를 사용하여 라이다 측정값을 처리합니다. 트랙 수준에서의 융합 방식을 사용하여 이러한 트랙을 더욱더 융합할 수 있습니다. 워크플로 구성도가 아래에 나와 있습니다.

스크립트 열기