AI 탑재 현미경을 통한 과학적 발견 속도 증대
사용자 친화적인 영상 처리와 대규모 광시트 데이터셋에서 얻는 통찰력
살아 있는 표본이든 고정 표본이든 생물 표본을 조사하는 데 있어 광학 현미경의 중요성이 점점 더 높아지고 있습니다. 과학자는 광시트 기술을 통해 한 프레임에 전체 단면을 촬영함으로써 살아 있는 세포 및 유기체의 현미경 영상 및 비디오를 신속하게 수집할 수 있습니다. 이 방법은 다른 광학 영상 기술에 비해 표본의 레이저 광손상을 줄이고 세포, 배아, 조직과 같은 민감한 표본의 장기간 영상 촬영을 가능하게 해줍니다. 빠른 직렬 주사를 통해 3차원 볼륨을 획득할 수 있습니다.
세포 내의 복잡한 구조를 시각화하고 배아 기원에 숨겨진 발달의 비밀을 추적하기 위해 이 첨단 영상 촬영 기술을 선택하는 연구자들이 늘고 있습니다. 그러나 이러한 현미경은 테라바이트 규모의 방대하고 복잡한 영상을 생성하므로 통찰력을 얻고자 하는 과학자의 영상 분석에 걸림돌이 되고 있습니다.
매사추세츠주 우즈홀에 위치한 MBL(Marine Biological Laboratory)의 연구원이자 Chan Zuckerberg Initiative 영상 과학자인 Abhishek Kumar 박사와 공동으로 새로운 툴을 구축 중인 팀은 이러한 고민을 해결하는 데 주안점을 두었습니다. 이들은 MATLAB®에서 새로운 툴을 만들고 있습니다.
MBL 연구 조교 William Ramos가 MBL 영상 전문가 Anthony Mautino의 도움을 받아 이끈 프로젝트는 종단간 광시트 현미경 워크플로입니다. 현미경 제어 및 영상 수집부터 복원, 시각화, 분석, 정량화에 이르기까지, 이 툴은 연구자가 코딩을 배울 필요 없이 영상에 집중할 수 있게 해줍니다.
Marine Biological Laboratory의 맞춤 제작 광시트 현미경. (이미지 출처: Emily Greenhalgh, Marine Biological Laboratory)
“영상이 행렬과 배열로 저장되고 연산되므로 MATLAB은 우리에게 당연한 선택입니다. 또한, 실험실과 전파 용도로 이러한 툴을 코딩하고 패키징하는 가장 깔끔하고 효율적인 수단도 MATLAB입니다.” Kumar 박사가 말합니다. “지원도 탁월하며, 각각의 신규 릴리스마다 엄격한 품질 보증을 거친다는 것을 알고 있습니다.”
자동화 알고리즘
광시트 현미경 툴은 MATLAB 앱 디자이너에 내장된 여러 사용자 인터페이스로 구성되며 영상 전처리, 분할 및 수정을 위한 다양한 옵션을 제공합니다. 생물학자들이 프로젝트를 위해 Kumar 박사의 팀을 찾을 때 이들의 표본에는 근본적으로 새로운 영상 처리 요구사항이 있는 경우가 많습니다. 따라서 팀은 어떤 방법이 가장 효과적인지, 어떤 알고리즘을 사용할 것인지를 알아내야 합니다. 수작업으로 진행되는 이 시행착오 과정에는 몇 시간이 걸리는데, 툴을 사용하면 속도를 대폭 높일 수 있습니다.
“버튼만 누르면 즉시 결과를 테스트할 수 있는 이와 같은 툴이 있으면 상당한 시간을 절약할 수 있습니다.”
“Will Ramos는 우리가 일반적으로 이러한 프로젝트에 사용하는 모든 요소를 하나의 툴에 넣었습니다.” Mautino의 말입니다. “버튼만 누르면 즉시 결과를 테스트할 수 있는 이와 같은 툴은 상당한 시간을 절약해 줍니다.”
또한, 다양한 영상 변환을 적용하기 전에 Ramos가 Image Processing Toolbox™로 수행하는 여러 전처리 단계가 있습니다. 이 단계에서는 Deep Learning Toolbox™로 훈련된 고전적 영상 처리 알고리즘 및 CNN(컨벌루션 신경망)을 통합합니다.
“Ramos가 특정 프로젝트의 데이터에 대해 잘 동작하는 설정을 확보하면 우리는 이 설정에 따라 한꺼번에 처리할 수 있습니다.” Mautino가 말합니다.
일부 광시트 현미경 프로젝트는 15분 또는 그 이상의 간격으로 영상을 촬영하므로 연구자가 추적하고자 하는 표본의 부위가 많이 움직여 시야를 벗어날 수도 있습니다. 이 툴은 실시간 피드백을 제공하고 시야를 벗어나지 않도록 표본의 위치를 찾을 수 있게 해줍니다.
광시트 현미경 툴을 통해 CNN이 영상에서 연구자의 관심 대상이 아닌 부분과 연구자가 분석하려는 부분을 가리는 부분을 파악할 수도 있습니다. 예를 들어, 연구자들이 파리 난소의 세포 골격을 연구할 때 난모 세포는 시각화 과정에서 다른 세포의 중요한 특징을 가릴 수 있습니다. 이럴 때 연구자들은 모든 영상에서 난모 세포를 수동으로 제거해야 하는 경우가 많습니다. Ramos는 툴을 통해 몇 프레임에서 문제의 영역을 선택한 다음 신경망을 훈련시켜 나머지 볼륨 데이터의 시계열에서 해당 영역을 제거할 수 있습니다.
Ramos가 광시트 현미경 툴이 유용할 것으로 예상하는 또 다른 응용 사례는 데이터 축소입니다. 더 빠른 연산 처리 및 분석을 위해 연구자들은 전체 원시 데이터셋을 관심 있는 관련 영역만으로 축소합니다. 여기에는 표본의 움직임을 감지하고, 데이터를 이동해 중심을 다시 설정하고, 정보가 없는 배경 영역을 잘라내는 작업을 수반합니다. 이러한 데이터 축소 기법은 잉여 픽셀을 삭제하여 연산 리소스를 보다 효율적으로 사용할 수 있습니다.
“이 툴을 사용한 데이터 축소는 특히 매일 테라바이트 단위의 데이터를 수집하는 우리의 환경에서 매우 유용합니다.” Mautino이 말합니다.
Ramos는 수집 과정에서 다중채널 데이터를 정렬하고, 불량 픽셀과 같은 아티팩트를 수정하고, 즉석에서 시각화하고 필터링하는 사용자 지정 툴도 개발했습니다. Ramos는 프로젝트에 따라 Optimization Toolbox™, Image Acquisition Toolbox™ 및 Statistics and Machine Learning Toolbox™도 사용했습니다.
광시트 현미경 툴의 정면. (이미지 출처: Marine Biological Laboratory)
“우리 애플리케이션은 그러한 측면에서 매우 모듈화되어 있습니다.” Kumar 박사가 말합니다. “많은 기능이 있으며, 이러한 툴의 상당수는 보편적이고 자주 사용됩니다. 이후 연구자가 원하는 결과가 무엇인지에 따라 특정 잡음 제거 모델 또는 특정 신경망과 같은 고유한 단계를 추가할 수 있습니다.”
나비 난소 영상 촬영
이 종단간 워크플로는 나비 난소의 발달 과정을 연구하는 Nipam Patel 박사와 그의 실험실 구성원들이 거둔 성과를 비롯하여 이미 성공을 거두었습니다. 나비는 섬세하고, 나비의 난소는 더욱 섬세합니다. 연구원들이 사용한 광시트 현미경 설정은 40시간이 넘는 영상 촬영 중에 표본이 입는 광손상을 최소화하기 위해 세심하게 최적화되었습니다. 한 시간 지점의 크기가 0.5기가바이트를 넘는 경우도 많았습니다. 생물학자들은 방대한 양의 데이터와 씨름하는 것 외에, 쉽지 않은 영상 촬영 조건으로 인해 일반적인 경우보다 잡음이 많은 영상에서 잡음을 제거해야 했습니다. 배아가 발달하고 변화함에 따라 분할도 바뀌어야 했습니다.
왼쪽: 단일 뷰 광시트 현미경으로 촬영한 나비 난소의 3차원 스택을 최대 영상 명암으로 투영한 모습. 오른쪽: 연산을 통해 정리한 원본 영상 스택을 최대 영상 명암으로 투영한 모습. (이미지 출처: Kyle Demarr 및 Sophia Kelly, Marine Biological Laboratory)
Ramos가 162개의 영상을 직접 분할한 후에 툴이 나머지 4,000개의 영상을 몇 분 만에 처리했습니다. 수동 분할은 최대 10시간이 소요될 수 있었지만, Ramos의 방법으로 30분 이내에 완료할 수 있었습니다.
Ramos는 영상의 일부를 가리고 있던 난소의 난황을 제거하는 등 데이터의 특징을 식별하고 분할하도록 훈련된 또 다른 CNN을 사용했습니다. Ramos가 162개의 영상을 직접 분할한 후에 툴이 나머지 4,000개의 영상을 몇 분 만에 처리했습니다. Ramos에 따르면 수동 분할은 최대 10시간이 소요될 수 있었지만, 그의 방법으로 30분 이내에 완료할 수 있었다고 합니다.
“협업자들은 처리 시간과 영상 품질에 매우 만족했습니다.” Ramos는 말했습니다.
종단간 MATLAB 사용의 이점
이 팀은 현미경에 사용되는 소프트웨어부터 시각화에 이르기까지 모든 요소를 MATLAB으로 구축했고, 영상 처리 및 분석 기능이 독자적인 현미경 소프트웨어보다 더 유연하다는 것을 발견했습니다.
“MATLAB을 사용하는 이유는 하드웨어와의 인터페이스 기능을 들 수 있고 수학을 훨씬 더 보기 좋게 표시할 수 있다는 점이 있습니다.” Mautino는 말했습니다.
“광시트 현미경 툴은 코딩에 대한 경험과 지식이 없는 사람들도 이러한 모든 정교한 툴이 주는 혜택을 누릴 수 있게 해줍니다.”
“또한, 짐작할 수 있듯이 우리가 사용하는 많은 현미경에는 다양한 하드웨어 요소가 포함되어 있으며, 각 현미경마다 이에 맞는 코드가 필요합니다.” Mautino의 말입니다. “그 자체로 장기적인 프로젝트가 됩니다. 이런 경우에 MATLAB이 유용합니다. 해당 제조업체에서 이미 사용하고 있고, 우리가 쓸 수 있는 드라이버를 개발하고 있기 때문입니다.” 이들이 사용하는 카메라 중 일부는 Python으로 작성된 공인 제어 소프트웨어가 없습니다.
목표는 코딩 전문 지식이 없더라도 최대한 많은 연구자들이 고급 분석 기법을 사용할 수 있도록 하는 것입니다. Kumar 박사에 따르면 다양한 생물학 분야에서 이러한 영상 분석 툴을 사용할 수 있습니다.
이 툴을 통해 협업자들은 며칠에 걸쳐 수동으로 처리하거나 다른 연구자의 영상 처리를 기다리는 데 드는 시간을 절약할 수 있었습니다. 또한, 사용하기 간편하므로 고등학생과 같은 비전문가도 이용할 수 있습니다. Ramos는 더 폭넓은 보급, 사용자 의견 수렴 및 생물학 영상 분석 툴의 성장 촉진을 위해 조만간 GitHub®에서 사용자 인터페이스를 공유할 것이라고 말했습니다.
“오늘날에는 정교한 영상 분석과 영상 처리 없이는 어떠한 영상 프로젝트도 상상하기 어렵습니다.” Kumar 박사의 말입니다. “광시트 현미경 분석 툴은 코딩에 대한 경험과 지식이 없는 사람들도 이러한 모든 정교한 툴이 주는 혜택을 누릴 수 있게 해줍니다. 이러한 모든 툴의 접근성과 사용성을 개선하는 것이 중요합니다.”
