움직임 기반 구조

증분 움직임 기반 구조와 NeRF를 사용하여 여러 뷰로부터 3차원 장면 구조 복원

움직임 기반 구조(SfM)는 서로 다른 시점에서 촬영된 2차원 영상 세트로부터 장면의 3차원 구조를 추정하는 과정입니다. Computer Vision Toolbox™는 특징 검출, 매칭, 카메라 자세 추정, 삼각측량, 번들 조정을 포함한 전체 SfM 파이프라인을 제공합니다. 이러한 기능은 3차원 매핑, 사진측량(photogrammetry), 자율 내비게이션과 같은 응용 분야에 필수적입니다.

증분 움직임 기반 구조 파이프라인에 대한 단계별 종합 안내는 Structure from Motion from Multiple Views 예제 시리즈를 참조하십시오. 이 예제 시리즈에서는 bag-of-features 접근 방식을 사용하여 카메라 뷰로부터 뷰 그래프를 만들고, 기하 제약 조건을 사용하여 뷰 그래프를 미세 조정하고, 강인한 초기 뷰 쌍을 선택하여 3차원 복원을 초기화한 다음, 나머지 카메라 뷰를 통합하여 완전한 3차원 장면을 복원하는 방법을 보여줍니다. 장면의 희소 3차원 포인트 클라우드를 사용하고 조밀한 3차원 메시를 생성하는 방법에 대한 내용은 Dense 3-D Reconstruction of Asteroid Surface from Image Sequence 예제를 참조하십시오.

조밀한 복원과 새로운 뷰 합성을 위해, 이 툴박스는 NeRF(Neural Radiance Fields: 신경 방사 필드)를 지원합니다. trainNerfacto 함수를 사용하여 보유한 영상 모음으로 NeRF 모델을 훈련시키고 새로운 뷰를 생성하십시오. 그런 다음 포인트 클라우드를 사용하여 pc2surfacemesh (Lidar Toolbox) 함수로 3차원 메시를 생성할 수 있습니다.

함수

모두 확장

detectSIFTFeaturesSIFT(Scale-Invariant Feature Transform) 특징 검출 (R2021b 이후)
detectORBFeaturesDetect ORB keypoints
detectBRISKFeaturesBRISK 특징 검출
detectFASTFeaturesFAST 알고리즘을 사용하여 코너 검출
detectHarrisFeaturesHarris–Stephens 알고리즘을 사용하여 코너 검출
detectMinEigenFeatures최소 고유값 알고리즘을 사용하여 코너 검출
detectMSERFeaturesDetect MSER features
detectSURFFeaturesSURF 특징 검출
detectKAZEFeaturesDetect KAZE features
extractFeaturesExtract interest point descriptors
matchFeatures매칭되는 특징 찾기
matchFeaturesInRadiusFind matching features within specified radius
vision.PointTrackerTrack points in video using Kanade-Lucas-Tomasi (KLT) algorithm

영상 및 카메라 데이터 저장

imageviewsetManage data for structure-from-motion, visual odometry, and visual SLAM
worldpointsetManage 3-D to 2-D point correspondences
cameraIntrinsics카메라의 내부 파라미터를 저장하기 위한 객체
rigidtform3d3차원 강체 기하 변환 (R2022b 이후)
affinetform3d3차원 아핀 기하 변환 (R2022b 이후)

카메라 자세 추정

estimateEssentialMatrixEstimate essential matrix from corresponding points in a pair of images
estimateFundamentalMatrixEstimate fundamental matrix from corresponding points in stereo images
estworldposeEstimate camera pose from 3-D to 2-D point correspondences (R2022b 이후)
estrelposeCalculate relative rotation and translation between camera poses (R2022b 이후)

영상 점 삼각측량

pointTrackObject for storing matching points from multiple views
findTracksFind matched points across multiple views
triangulate3-D locations of undistorted matching points in stereo images
triangulateMultiview3-D locations of world points matched across multiple images

카메라 자세 및 3차원 점 최적화

bundleAdjustmentAdjust collection of 3-D points and camera poses
bundleAdjustmentMotionAdjust collection of 3-D points and camera poses using motion-only bundle adjustment
bundleAdjustmentStructureRefine 3-D points using structure-only bundle adjustment
nerfactoDense reconstruction and novel view synthesis using Nerfacto Neural Radiance Field (NeRF) model (R2026a 이후)
trainNerfactoCreate and train Nerfacto Neural Radiance Field (NeRF) model (R2026a 이후)
compareTrajectoriesCompare estimated trajectory against ground truth (R2024b 이후)
trajectoryErrorMetricsStore accuracy metrics for trajectories (R2024b 이후)
stereoAnaglyphCreate red-cyan anaglyph from stereo pair of images
pcshowPlot 3-D point cloud
plotCameraPlot camera in 3-D coordinates
showMatchedFeaturesDisplay corresponding feature points
rotmat2vec3d3차원 회전 행렬을 회전 벡터로 변환 (R2022b 이후)
rotvec2mat3d3차원 회전 벡터를 회전 행렬로 변환 (R2022b 이후)
quaternionCreate quaternion array (R2023b 이후)

도움말 항목

증분 움직임 기반 구조

기본 사항

추천 예제

새로 만들기
Structure from Motion from Multiple Views

Structure from Motion from Multiple Views

Estimate 3-D structure of a scene from a set of 2-D views using incremental structure from motion.

새로 만들기
Dense 3-D Reconstruction from Multiple Views Using RAFT Optical Flow

Dense 3-D Reconstruction from Multiple Views Using RAFT Optical Flow

Reconstruct dense 3-D scene by augmenting sparse Structure-from-Motion (SfM) point cloud with dense pixel correspondences estimated using RAFT optical flow.

새로 만들기
Dense 3-D Reconstruction from Two Views Using RAFT Optical Flow

Dense 3-D Reconstruction from Two Views Using RAFT Optical Flow

Perform dense 3-D scene reconstruction from two monocular images showing different viewpoints using RAFT optical flow model.

새로 만들기
Dense 3-D Reconstruction of Asteroid Surface from Image Sequence

Dense 3-D Reconstruction of Asteroid Surface from Image Sequence

Reconstruct dense 3-D point cloud and continuous surface mesh for an asteroid using 2-D images.

새로 만들기
Create View Graph Using Bag of Features

Create View Graph Using Bag of Features

Extract features from images and build a view graph based on visual similarity using bag-of-features approach.

새로 만들기
Refine View Graph Using Geometric Verification

Refine View Graph Using Geometric Verification

Refine the view graph created purely based on visual similarity by verifying geometric consistency between image pairs.

새로 만들기
Reconstruct 3-D Scene from Geometrically Refined Pair of Initial Views

Reconstruct 3-D Scene from Geometrically Refined Pair of Initial Views

Initialize 3-D reconstruction by selecting a robust image pair from the geometrically refined view graph.

새로 만들기
Reconstruct Complete 3-D Scene Using Incremental Structure from Motion

Reconstruct Complete 3-D Scene Using Incremental Structure from Motion

Use incremental structure from motion to generate complete 3-D scene by integrating all camera views with the initialized 3-D reconstruction.

두 시점에서의 움직임 기반 구조

두 시점에서의 움직임 기반 구조

2차원 영상 세트로부터 장면의 3차원 구조를 추정합니다.

Reconstruct 3-D Scenes and Synthesize Novel Views Using Neural Radiance Field Model

Reconstruct 3-D Scenes and Synthesize Novel Views Using Neural Radiance Field Model

Reconstruct 3-D scenes and synthesize novel views from a set of 2-D images using the Nerfacto Neural Radiance Field (NeRF) model.