모든 시간 척도에서 비디오 재생이 가능한 단일광자 카메라

University of Toronto의 계산 영상 연구자들은 독특한 카메라로 이상한 신호를 포착했습니다. Toronto Computational Imaging Group은 카메라와 SPAD(단일광자 애벌런치 다이오드)를 사용해 실험실에서 실험을 진행하면서 설명할 수 없는 80킬로헤르츠(kHz)의 깜박임을 감지했습니다.

그들은 강력한 자유 실행 이미징 센서를 사용하여 다양한 광원에서 도착하는 각 광자를 감지하고 1조 분의 1초까지 정확한 도착 시간을 기록했습니다. 연구팀은 각 픽셀에서 나오는 모든 데이터를 수집한 후, 몇 초에서 피코초에 이르는 극단적인 범위에 걸쳐 특정 순간의 빛을 재구성하는 영상을 제작할 수 있는 알고리즘을 적용했습니다.

University of Toronto 팀은 단일 광자 타임스탬프 데이터를 수집하고 그들이 "시간을 위한 현미경"이라고 명명한 영상 기술을 위한 설정에서 이동 부품을 제어하기 위해 MATLAB^®을 사용했습니다.

단일 픽셀 SPAD에는 중앙에 작은 센서가 있는 60mm x 60mm 감지 헤드가 있습니다. SPAD가 이상한 80kHz 신호를 감지했을 때 연구자들은 처음에 단순한 아티팩트를 발견한 것이 아닐까 생각했습니다. 자세히 조사해 본 결과, 연구팀은 출처를 발견했습니다.

"연구실에는 형광등을 대체할 수 있는 T8 LED가 있는 것으로 밝혀졌습니다. Kutulakos는 "실제로 80킬로헤르츠에서 깜빡입니다."라고 말했습니다. "우리는 이런 일이 일어나고 있다는 사실조차 몰랐어요."

최근 파리에서 열린 ICCV(국제 컴퓨터 비전 학술대회)에서 해당 팀의 수동 초광대역 단일광자 영상에 관한 논문은 전 세계 컴퓨터 비전 전문가들이 제출한 수천 편의 논문 중 두 편에만 수여되는 권위 있는 상을 수상했습니다.

이 기술의 잠재적 응용 분야로는 새로운 유형의 3차원 영상 및 라이다 시스템은 물론, 과학 영상(예: 여러 시간 척도에 걸친 생물학적 사건을 포착하거나 고속 전파 폭발과 동시에 발생하는 짧은 빛의 펄스를 천문적으로 관찰하는 것)이 있습니다.

초당 수십억 프레임

단일광자 애벌런치 다이오드가 시중에서 널리 판매되기 시작한 것은 지난 10년 동안이었습니다. Kutulakos는 이 소자의 높은 비용으로 인해 이를 활용할 수 있는 컴퓨터과학 및 컴퓨터 비전 연구실이 거의 없었다고 지적했습니다. 최근 센서 개발로 인해 University of Toronto 팀은 다른 분야의 과학자들이 수십 년 동안 고민해 온 문제에 대해 새로운 질문을 던지게 되었습니다.

예를 들어, 감마선 천문학을 전문으로 하는 천문학자들은 감지기를 배치하여 개별 입자를 수집하고 타임스탬프를 기록했습니다. 하지만 이 천문학자들은 별의 밝기를 설명하는 정확한 시간 변화 함수보다는 변광성의 주기적 조명에 더 관심이 있었습니다. 왜냐하면 그것이 물리학에 필요했기 때문이라고 Kutulakos는 설명했습니다.

Toronto Computational Imaging Lab 연구실의 박사후 연구원인 Sotiris Nousias와 박사과정생인 Mian Wei는 SPAD를 사용하여 발광 다이오드에서 나오는 광자의 타이밍 정보를 처음으로 수집했습니다.

Nousias는 "우리는 LED를 깜빡거리게 하고 출력 스트림을 살펴보았습니다."라고 말했습니다. "우리는 스트림이 실제로 깜빡임과 같은 패턴을 가지고 있다는 것을 관찰한 후 수학적 연관성을 찾기 위해 노력했습니다. 그것이 바로 우리가 이 프로젝트에 영감을 준 것입니다."

ICCV 논문의 공동 1저자인 Nousias와 Wei는 모든 광자에 접근할 수 있다면 어떤 정보를 얻을 수 있을지 궁금해했습니다. 과학자들은 SPAD를 특수한 동기화된 방식으로 작동시키는 경향이 있습니다. 대신 연구팀은 비동기 모드로 센서를 작동시켰습니다. 이를 바탕으로 연구자들은 이산적인 광자의 도착을 시간에 따라 변하는 빛의 강도를 설명하는 기본적인 연속 함수와 연결하고자 했습니다.

시간 속을 달리다

Wei는 테크니컬 컴퓨팅 소프트웨어에 접근하지 않으면 새로운 구성 요소를 모두 통합하는 데 며칠에서 몇 주가 걸릴 것으로 추정했습니다. 그는 "구성 요소가 의도한 대로 작동하는지 다시 한 번 확인하면 시간이 더 걸릴 것"이라고 말했다.

"우리의 설정 덕분에 '이제 새로운 Windows^® 컴퓨터가 생겼군'이라고 말할 수 있습니다. Wei는 "이전에 실행 중이던 코드를 가져와 이식하겠습니다."라고 덧붙였습니다. "이제 다른 사람도 자신의 코드를 활용하고 시스템을 실행할 수 있습니다."

동적 영상의 가능성

연구자들은 이러한 획기적인 발견이 새로운 발전을 촉진하기를 바라고 있습니다. 탐색이 활발한 분야 중 하나는 플래시 라이다입니다. 이는 스캐닝 펄스 레이저가 아닌 확산 펄스 레이저로부터 고해상도의 깊이 영상을 생성하는 기술입니다. 일반적으로 이 작업에는 장면에 빛을 보내고, 그 빛이 돌아오는 데 걸리는 시간을 측정하고, 이 타이밍 정보를 사용하여 거리를 측정하는 과정이 포함됩니다.

"이 메커니즘이 작동하려면 경고 중 하나는 광원을 시스템과 동기화해야 한다는 것입니다."라고 Wei는 설명했습니다. "비동기적으로 신호를 측정할 수 있는 능력을 감안할 때, 우리는 플래시 라이다를 하기 위해 비동기 광원을 사용할 수 있는지 이해하는 데 관심이 있습니다."

생물학에서 단백질 접힘이나 결합과 같은 사건은 나노초에서 밀리초까지 짧은 시간 척도에 걸쳐 일어날 수 있습니다. Lindell은 해당 팀이 대학의 생물학 전문가들과 영상 기술에 대해 논의해 왔다고 말했다.

"이런 사건들이 이런 시간 규모로 일어난다는 사실은 우리에게 흥미롭고, 사람들이 지금까지 할 수 없었던 방식으로 이를 관찰할 수 있는 잠재력이 매력적입니다."라고 그는 말했습니다.

계산 재초점화는 다른 과학에도 응용 사례가 있을 수 있습니다. 천체물리학자들은 20년 전 전파 망원경이 처음으로 이 현상을 감지한 이후로 고속 전파 폭발을 발생시키는 원인을 이해하고 싶어했습니다. 이 신비한 에너지 폭발은 하늘을 가로질러 발생하며 몇 밀리초 동안만 지속되지만 그 하나하나가 믿을 수 없을 만큼 강력합니다. 계산적 재초점화를 통해 광학 영역에서 FRB를 감지할 수 있습니다.

"그 일이 언제 일어날지는 모릅니다."라고 Nousias는 말했다. "하늘을 모니터링한 다음 나노초 단위의 데이터로 돌아가서 관찰해야 합니다. 이제 우리는 이를 수행할 수 있는 도구를 갖게 되었습니다."

Kutulakos는 SPAD 방법을 사용하면 표준 검사에서는 놓칠 수 있는 엔지니어링 기계 구성 요소의 문제나 결함을 감지하는 데 도움이 될 것으로 예상합니다. 엔진에 문제가 생기면 진동이 문제를 나타낼 수 있지만, 더 많은 정보 없이는 정확한 원인을 알아내기 어려울 수 있습니다. 엔진에 카메라를 설치하고 모든 데이터를 수집하면 건초더미 속에서 바늘을 찾을 수도 있을 것이라고 그는 말했다.

이 그룹은 또한 다른 마이크로전자공학 연구자들과 협력하여 카메라의 기능을 확장하고 있습니다. 단일 픽셀 카메라를 사용하면 팀은 회전하는 선풍기 날개와 같은 반복적인 동작에서 영상을 제작할 수 있지만, 정말로 역동적인 이벤트에는 2차원 센서가 필요합니다.

팀은 다음으로 기술을 개선하기 위해 노력할 계획입니다. Lindell은 신호를 재구성하는 일은 여전히 많은 시간이 걸리고 계산적으로 비효율적이라고 지적했다. 그래서 그들은 모든 시간 척도에 걸쳐 일어나는 사건을 실시간으로 포착하는 작업을 하고 있습니다.

Lindell은 "우리가 이 카메라를 실험실 주변이나 심지어 외부로 겨누면 예상하지 못했던 결과가 나올 것으로 생각합니다."라고 말했습니다. "우리가 무엇을 찾을지 기대되네요. 이는 세계를 포착하는 새로운 방식이 될 것입니다."