PointNet++ 시작하기

PointNet++는 비정렬 라이다 포인트 클라우드의 의미론적 분할에 사용되는 일반적인 신경망입니다. 의미론적 분할은 3차원 포인트 클라우드의 각 점을 자동차, 트럭, 지면 또는 초목과 같은 클래스 레이블과 연결합니다. 포인트 클라우드를 사용한 의미론적 분할에 대한 자세한 내용은 Semantic Segmentation in Point Clouds Using Deep Learning 항목을 참조하십시오.

PointNet++ 신경망은 포인트 클라우드의 개별 점들을 계층적으로 처리합니다. 이 신경망은 PointNet을 사용하여 점 군집에서 로컬 특징들을 추출하고 이들 특징을 그룹화하여 전체 포인트 클라우드로부터 더 높은 수준의 특징을 생성합니다.

Segmentation with PointNet++ network

PointNet++의 응용 사례는 다음과 같습니다.

디지털 산림 응용 분야에서의 나무 분할.
항공 라이다 데이터로부터 디지털 지형 모델 추출.
로봇의 실내 내비게이션을 위한 환경 인식.
항공 라이다 데이터로부터 3차원 도시 모델링.

PointNet++ 신경망

PointNet++ 신경망은 집합 추상화 모듈이 있는 인코더와 특징 전파 모듈이 있는 디코더를 포함합니다.

집합 추상화 모듈은 점들의 집합을 처리하고 추출하여 더 적은 수의 요소로 이루어진 새로운 집합을 생성합니다. 각 집합 추상화 모듈에 샘플링 및 그룹화 계층이 포함되며 그 뒤에 PointNet 계층이 옵니다.

샘플링 및 그룹화 계층은 로컬 영역의 중심을 식별하여 샘플링을 수행합니다. 그런 다음 중심을 둘러싼 이웃 점들로 이루어진 로컬 영역 집합을 생성하는 방식으로 그룹화를 수행합니다.
PointNet 계층에는 더 작은 PointNet 신경망이 들어 있으며, 이 신경망은 컨벌루션 계층, 정규화 계층, ReLU 계층으로 이루어지며 이어서 최댓값 풀링 계층이 옵니다. 이 계층은 로컬 영역 패턴을 특징 벡터로 인코딩합니다.

특징 전파 모듈은 서브샘플링된 점들을 보간한 다음 이를 집합 추상화 모듈의 특징점들과 결합합니다. 그런 다음 신경망은 이들 특징을 단위 PointNet 신경망에 통과시켜서 추가적인 처리를 통해 더 높은 수준의 특징을 생성합니다.

다시 말하자면 PointNet++는 중첩되고 분할된 입력에 대해 PointNet을 반복적으로 적용하여 다중 스케일의 특징들을 추출함으로써 정확한 의미론적 분할을 수행합니다.

PointNet++ Network

PointNet++신경망 만들기

포인트 클라우드 데이터를 분할하기 위한 PointNet++ 신경망을 만들려면 pointnetplusNetwork 함수를 사용하십시오.

PointNet++ 신경망 훈련시키기

포인트 클라우드 데이터를 분할하도록 PointNet++ 신경망을 훈련시키는 방법은 PointNet++ 딥러닝을 사용한 항공 라이다의 의미론적 분할 항목을 확인하십시오.

코드 생성

PointNet++ 신경망에 대한 CUDA® 코드를 생성하는 방법은 Code Generation for Aerial Lidar Semantic Segmentation Using PointNet++ Deep Learning 항목을 참조하십시오.

참고 문헌

[1] Qi, Charles R., Li Yi, Hao Su, and Leonidas J. Guibas. ‘PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space’. ArXiv:1706.02413 [Cs], 7 June 2017. https://arxiv.org/abs/1706.02413.

[2] Varney, Nina, Vijayan K. Asari, and Quinn Graehling. ‘DALES: A Large-Scale Aerial LiDAR Data Set for Semantic Segmentation’. ArXiv:2004.11985 [Cs, Stat], 14 April 2020. https://arxiv.org/abs/2004.11985.