주요 콘텐츠

움직임 기반 구조

R2026b
증분 움직임 기반 구조, NeRF 및 MapAnything 모델을 사용하여 여러 뷰로부터 3차원 장면 구조 복원

움직임 기반 구조(SfM)는 서로 다른 시점에서 촬영된 2차원 영상 세트로부터 장면의 3차원 구조를 추정하는 과정입니다. Computer Vision Toolbox™는 특징 검출, 매칭, 카메라 자세 추정, 삼각측량, 번들 조정을 포함한 전체 SfM 파이프라인을 제공합니다. 이러한 기능은 3차원 매핑, 사진측량(photogrammetry), 자율 내비게이션과 같은 응용 분야에 필수적입니다.

이 툴박스는 sfm 객체를 통해 즉시 실행 가능한 SfM 파이프라인을 제공합니다. 영상과 카메라 내부 파라미터를 사용하여 sfm 객체를 생성하고 그 객체 함수를 사용하여 전체 복원 파이프라인을 실행하십시오.

  • connectImagePairs — 시각적으로 유사한 영상들의 뷰 그래프 생성

  • verifyImagePairs — 기하학적 제약 조건을 사용하여 뷰 그래프 미세 조정

  • triangulateInitialViews — 강인한 초기 뷰 쌍을 선택하고 첫 번째 3차원 점들을 삼각측량

  • reconstruct — 나머지 모든 뷰를 단계적으로 처리하여 전체 3차원 장면 복원

poses 함수, pointCloud 함수, plot 함수를 사용하여 결과를 가져오고 시각화하십시오.

증분 움직임 기반 구조 파이프라인에 대한 단계별 종합 안내는 Structure from Motion from Multiple Views 예제를 참조하십시오. 장면의 희소 3차원 포인트 클라우드를 사용하고 조밀한 3차원 메시를 생성하는 방법에 대한 내용은 Dense 3-D Reconstruction of Asteroid Surface from Image Sequence 예제를 참조하십시오.

조밀한 복원과 신규 시점 합성(novel view synthesis)을 위해, 이 툴박스는 NeRF(Neural Radiance Fields: 신경 방사 필드)를 지원합니다. trainNerfacto 함수를 사용하여 보유한 영상 모음으로 NeRF 모델을 훈련시키고 신규 시점을 생성하십시오. 그런 다음 포인트 클라우드를 사용하여 pc2surfacemesh (Point Cloud Toolbox) 함수로 3차원 메시를 생성할 수 있습니다.

이 툴박스는 MapAnything 모델을 사용하여 다중 뷰 영상으로부터 3차원 장면 복원을 지원합니다. mapanything 객체를 사용하여 사전 훈련된 MapAnything 모델을 만든 다음, reconstruct 함수를 사용하여 3차원 장면 복원을 수행하고 영상에 대한 카메라 자세, 내부 파라미터, 깊이 맵, 포인트 클라우드를 추정할 수 있습니다.

함수

모두 확장

SfM 복원 파이프라인 실행하기

sfmPerform structure‑from‑motion (SfM) using single camera (R2026b 이후)
connectImagePairsConnect and build view graph of visually similar images for SfM (R2026b 이후)
verifyImagePairsRefine SfM view graph using geometric epipolar constraints (R2026b 이후)
triangulateInitialViewsTriangulate initial views for SfM 3-D reconstruction (R2026b 이후)
reconstructReconstruct 3-D scene using structure-from-motion (SfM) by incrementally processing all camera views after initialization (R2026b 이후)

SfM 복원 결과 및 시각화

posesAbsolute camera poses estimated from structure-from-motion (SfM) 3-D reconstruction (R2026b 이후)
pointCloudSparse 3-D scene point cloud reconstructed using structure-from-motion (SfM) (R2026b 이후)
plotVisualize 3-D point cloud and camera trajectory from structure-from-motion (SfM) reconstruction (R2026b 이후)

SfM 파이프라인 상태 확인

isConnectedDetermine if image views are connected to form view graph for structure-from-motion (SfM) (R2026b 이후)
isVerifiedDetermine if image view graph connections have been geometrically verified for structure-from-motion (SfM) (R2026b 이후)
isInitializedDetermine if 3-D reconstruction has been initialized for structure-from-motion (SfM) (R2026b 이후)
nerfactoDense reconstruction and novel view synthesis using Nerfacto Neural Radiance Field (NeRF) model (R2026a 이후)
trainNerfactoCreate and train Nerfacto Neural Radiance Field (NeRF) model (R2026a 이후)
mapanythingCreate pretrained MapAnything model for 3-D scene reconstruction from images (R2026b 이후)
reconstructReconstruct 3-D scene using MapAnything model (R2026b 이후)
releaseGPUMemoryRelease GPU memory allocated to MapAnything model (R2026b 이후)

특징 검출

detectSIFTFeaturesSIFT(Scale-Invariant Feature Transform) 특징 검출
detectORBFeaturesDetect ORB keypoints
detectBRISKFeaturesBRISK 특징 검출
detectFASTFeaturesFAST 알고리즘을 사용하여 코너 검출
detectHarrisFeaturesHarris–Stephens 알고리즘을 사용하여 코너 검출
detectMinEigenFeatures최소 고유값 알고리즘을 사용하여 코너 검출
detectMSERFeaturesDetect MSER features
detectSURFFeaturesSURF 특징 검출
detectKAZEFeaturesKAZE 특징 검출

특징 매칭

extractFeaturesExtract interest point descriptors
matchFeatures매칭되는 특징 찾기
matchFeaturesInRadiusFind matching features within specified radius
vision.PointTrackerTrack points in video using Kanade-Lucas-Tomasi (KLT) algorithm

카메라 자세 추정

estimateEssentialMatrixEstimate essential matrix from corresponding points in a pair of images
estimateFundamentalMatrixEstimate fundamental matrix from corresponding points in stereo images
estworldposeEstimate camera pose from 3-D to 2-D point correspondences (R2022b 이후)
estrelposeCalculate relative rotation and translation between camera poses (R2022b 이후)

영상 점 삼각측량

pointTrackObject for storing matching points from multiple views
findTracksFind matched points across multiple views
triangulate3-D locations of undistorted matching points in stereo images
triangulateMultiview3-D locations of world points matched across multiple images

카메라 자세 및 3차원 점 최적화

bundleAdjustmentAdjust collection of 3-D points and camera poses
bundleAdjustmentMotionAdjust collection of 3-D points and camera poses using motion-only bundle adjustment
bundleAdjustmentStructureRefine 3-D points using structure-only bundle adjustment

영상 및 3차원 데이터 저장

imageviewsetManage data for structure-from-motion, visual odometry, and visual SLAM
worldpointsetManage 3-D to 2-D point correspondences
cameraIntrinsics카메라의 내부 파라미터를 저장하기 위한 객체
rigidtform3d3차원 강체 기하 변환 (R2022b 이후)
affinetform3d3차원 아핀 기하 변환 (R2022b 이후)

결과 시각화하기

stereoAnaglyphCreate red-cyan anaglyph from stereo pair of images
pcshowPlot 3-D point cloud
pcviewerVisualize and inspect large 3-D point clouds (R2023a 이후)
pcplayerVisualize streaming 3-D point cloud data
plotCameraPlot camera in 3-D coordinates
pointCloudSparse 3-D scene point cloud reconstructed using structure-from-motion (SfM) (R2026b 이후)
showMatchedFeaturesDisplay corresponding feature points
compareTrajectoriesCompare estimated trajectory against ground truth (R2024b 이후)
trajectoryErrorMetricsStore accuracy metrics for trajectories (R2024b 이후)
rotmat2vec3d3차원 회전 행렬을 회전 벡터로 변환 (R2022b 이후)
rotvec2mat3d3차원 회전 벡터를 회전 행렬로 변환 (R2022b 이후)
quaternionCreate quaternion array (R2023b 이후)

도움말 항목

기본 사항

증분 움직임 기반 구조

추천 예제