야생 치타 연구를 돕는 딥러닝 기반 모션 캡처 시스템
로봇 연구를 통한 치타의 놀라운 기동성 이해
야생 어미 치타 한 마리와 새끼 세 마리가 남아프리카와 보츠와나에 걸쳐 있는 거대한 Kgalagadi Transfrontier Park 안에서 스프링복을 사냥하고 있습니다. 야생 치타는 그들의 우월한 민첩성과 빠른 가속력으로 먹잇감을 신속하게 사냥합니다. University of Cape Town의 생물역학 교수 겸 ARU(African Robotics Unit) 책임자인 Amir Patel은 안전한 거리에서 이 장면에 대해 그의 연구소의 모션 캡처 시스템을 훈련시킵니다.
Patel과 ARU 연구팀은 더 우수하고 민첩한 로봇을 개발하기 위해 치타의 움직임을 연구하고 있습니다. “치타는 최상의 기동성을 가지고 있습니다.” Patel이 말합니다. “치타를 이해하면 모션과 힘을 측정하거나 최적화를 수행하는 새로운 방법을 고안할 수 있습니다.”
가장 빠른 육상 동물인 치타에 대한 관심은 수많은 발전을 가져왔습니다. 연구원들은 로보틱스, 다물체 모델링, 피드백 제어, 궤적 최적화, 컴퓨터 비전, 딥러닝 분야에서 새로운 기법을 개발했습니다.
치타는 민첩성이 월등하게 우수하고, 빠른 가속이 가능하며, 급하게 방향을 전환할 수 있습니다. (비디오 출처: University of Cape Town, African Robotics Unit)
Patel 자신은 수년간 MATLAB® 및 Simulink®를 사용해 왔지만, Campus-Wide License를 통해 그와 대학의 동료 연구원들은 이러한 플랫폼을 더 충만히 활용할 수 있게 되었습니다.
“우리는 연구하는 문제를 토대로 툴을 선택합니다.” Patel이 말합니다. “Campus-Wide License를 구입했을 때, 이제 모든 기능을 사용할 수 있게 되었다고 생각했습니다.”
또한, 연구팀은 MATLAB 및 Simulink가 Python® 등의 다른 프로그래밍 언어 및 Speedgoat® 같은 하드웨어와 원활한 상호운용상을 가진다는 것도 알게 되었습니다.
Patel은 Mackenzie Mathis 박사, Alexander Mathis 박사와 협업하여 야생에서 질주하는 치타를 추적하는 작업에 동물 행동의 비침해적 추적을 위한 오픈 소스 툴박스(DeepLabCut™)를 적용했습니다. 이 연구는 Nature Protocols의 표지를 장식했습니다.
Patel은 자체 개발한 딥러닝 기반 모션 캡처 시스템인 WildPose로 Google Research Scholar Award에서 머신 인식 부문을 수상하기도 했습니다. MathWorks도 이 연구소의 연구를 지원했습니다. Patel의 연구는 2개의 특허를 획득하고, 이를 통해 대학 분사 기업이 설립되었으며, 로봇공학자, 스포츠 과학자, 임상의, 생물학자, 생태학자, 환경보전 관리자들의 큰 관심을 불러일으켰습니다.
예상치 못한 순풍
야생에서 치타는 시속 120km(75마일)로 질주하는 것으로 기록되어, 육상 동물 중 단거리 달리기 속도가 가장 빠른 것으로 알려져 있습니다. 긴 다리와 목, 작은 머리, 발톱으로 무장한 치타는 빠른 속도로 가속하고 먹잇감을 쉽게 추격할 수 있습니다.
전 세계 치타 중 약 18%는 남아프리카에 서식하고 있습니다. 엔지니어인 Amir Patel은 어릴 적부터 이곳에 서식하는 동물인 치타에 매료되었습니다. University of Cape Town에서 박사 과정을 시작하면서 그는 치타 데이터를 활용하여 완전한 로봇을 개발하겠다는 계획을 세웠습니다.
“자동차를 타고 창밖으로 팔을 내민다고 상상해 보세요. 그 힘이 느껴질 겁니다. 우리는 치타가 이러한 공기역학적 항력을 이용해 빠른 속도로 회전할 때 몸의 안정을 유지한다는 것을 알아냈습니다.”
“치타가 꼬리나 유연한 척추를 활용하는 방법에 대한 정보 또는 치타의 기동 방법을 설명하는 모델이 없었습니다.” 그가 회상합니다.
Patel은 길고 털이 많은 꼬리에 초점을 맞췄습니다. 당시만 해도 꼬리 데이터는 다른 동물을 기반으로 했습니다. 과학자들은 꼬리의 무게와 관성에 대해 확신하지 못했습니다. 야생동물 전문가 사이의 일반적인 생각은 꼬리는 무겁고 관성이 커서 균형추처럼 작용한다는 것이었습니다.
그때 Patel의 박사 과정 지도교수 중 한 명인 프리토리아 국립동물원 소속 Emily Lane 교수가 자연사로 죽은 치타의 부검을 참관할 것을 요청했습니다. Patel은 부검 절차 중에 사진을 촬영하고 크기를 측정했습니다.
“전 꼬리가 클 것이라고 예상했어요.” 그의 말입니다. “하지만 꼬리는 말랐고 치타 체중의 약 2%에 불과했습니다.”
Patel은 털의 공기역학 효과에 대한 이해를 증진하기 위해 Lane 교수가 제공한 죽은 치타의 꼬리를 풍동 내에 배치시켰습니다. 그는 모델링을 위해 MATLAB 및 Simulink를 사용했습니다.
“자동차를 타고 창밖으로 팔을 내민다고 상상해 보세요. 그 힘이 느껴질 겁니다.” 그의 말입니다. “우리는 치타가 이러한 공기역학적 항력을 이용해 빠른 속도로 회전할 때 몸의 안정을 유지한다는 것을 알아냈습니다.”
털의 공기역학 효과를 이해하기 위해 풍동 내에 배치한 치타 꼬리. (이미지 출처: Amir Patel)
로봇공학자들은 자연으로부터 영감을 얻는 경우가 많지만, Patel은 로보틱스에서 영감을 받은 생물학을 연구하고 있으며 로보틱스 배경을 활용해 황금빛 눈을 가진 치타에 대해 새로운 시각을 갖게 되었습니다.
생물학적 영감에서 피스톤으로
ARU에서 네 명의 수석 연구원 중 한 명인 Patel은 기계 시스템의 수학적 모델을 만들고, 동물의 동작을 검출 및 측정하며, 복잡한 움직임의 기계적 모델 역할을 하는 로봇을 제작하는 등 학생들과 함께 다양한 각도에서 치타를 연구하고 있습니다. 치타의 변칙적인 속도는 일관적인 동물의 움직임에 비해 연구하기가 더 까다롭습니다.
Patel과 다른 ARU 엔지니어들은 “질주하다”라는 의미의 소사어에서 이름을 따 “Baleka”라고 명명된 이족 보행 로봇을 개발했습니다. 이 로봇은 궤적 최적화 기법을 활용하여 설계되었으며, 그 결과 사람에 비해 더 높은 수직 민첩성을 달성했습니다.
2023 ICRA(International Conference on Robotics and Automation)에서 Patel과 그의 학생 Christopher Mailer는 새로운 사족 보행 로봇 프로토타입인 Kemba의 설계와 제어에 대해 발표했습니다. 검을 의미하는 줄루어 “inkemba”에서 이름을 따 명명된 이 하이브리드 공압-전기식 프로토타입 플랫폼은 다리 길이의 약 2.2배 높이를 점프할 수 있습니다.
“영상을 보면 치타가 발을 정교하게 제어하는 것이 아니라, 발을 최대한 힘껏 밀어내려고 하는 것을 볼 수 있었습니다.” Patel의 말입니다. “공압 피스톤도 유사하게 힘을 가합니다.”
Patel은 자신과 학생들이 피드백 제어에 대한 배경 지식을 공유하고 있기 때문에, 한 시스템에서 다음 시스템으로 이동하는 블록 다이어그램과 신호가 자연스럽게 느껴졌다고 회상했습니다.
이족 보행 로봇 Baleka의 점프 테스트. (비디오 출처: University of Cape Town, African Robotics Unit)
다리가 달린 Kemba 로봇. (이미지 출처: University of Cape Town, African Robotics Unit)
일반적으로 로봇공학자들은 정밀한 제어가 어렵기 때문에 공압 피스톤을 피하지만, ARU 팀은 이를 받아들였습니다. 그리고 Simscape Multibody™ 및 Simulink를 활용하여 Kemba의 무릎에 장착된 공압 피스톤을 모델링하고, 사족 보행 로봇의 예상되는 움직임을 시뮬레이션하며, 이를 위한 제어기를 설계했습니다.
Patel은 자신과 학생들이 피드백 제어에 대한 배경 지식을 공유하고 있기 때문에, 한 시스템에서 다음 시스템으로 이동하는 블록 다이어그램과 신호가 자연스럽게 느껴졌다고 회상했습니다. 팀은 다물체 모델링을 위해 기계 CAD 소프트웨어로 Kemba를 설계한 다음 이 설계를 Simscape™로 이식했습니다.
모델 기반 설계를 통해 Patel과 그의 학생들은 가속도 신호를 실시간으로 확인할 수 있으며, 이는 특히 디버깅에서 매우 유용했습니다. 이 블록 다이어그램 환경을 통해 팀은 개발 시간을 단축할 수 있었으며, 신속한 테스트 및 실험, 시스템 최적화, 코드 자동화가 가능했습니다.
“Simulink Real-Time™은 획기적입니다. 예전에는 수동으로 코딩을 했습니다. 이로 인해 항상 문제가 발생하곤 했죠.” Patel이 말합니다. “이제 우리는 Simulink Real-Time과 쉽게 통합할 수 있는 Speedgoat 실시간 제어 시스템을 사용할 수 있습니다. 버튼을 한 번만 클릭하면 로봇에서 실행됩니다. 덕분에 더 쉽고 빠르게 개발할 수 있게 되었습니다.”
ICRA에서 과학자들은 Kemba가 가속과 껑충껑충 달리는 동작을 수행할 수 있는 가능성이 있음을 입증했습니다. 경성 척추가 장착된 이 로봇은 최대 1m(3.28피트)를 점프할 수 있습니다.
접촉 순서는 치타와 로봇 모두에게 중요합니다. 로봇 그리퍼나 손을 사용하는 경우에도, 이상적인 접촉 순서는 객체의 움직임 또는 조작에서 커다란 차이를 만들 수 있습니다. 2018년 Carnegie Mellon에서 안식년을 보내던 중 Patel은 더욱 정확한 접촉 최적화 알고리즘에 대한 아이디어를 고안했습니다.
Kemba가 정지 상태에서 껑충 뛰는 보행으로 가속하는 모습. (비디오 출처: University of Cape Town, African Robotics Unit)
Kemba와 이야기를 나눈 몇몇 과학자들은 “아니요, 불가능합니다. 2년 전에 몇몇 그룹이 이를 시도했지만 실패했죠.”라고 말했습니다. 그럼에도 불구하고 그는 추진했습니다. 그 결과 IEEE Robotics and Automation Letters에 게재된 “직교 배열을 사용한 접촉 수반 궤적 최적화” 논문은 그의 가장 많이 인용된 논문 중 하나가 되었고, 2020년 로보틱스의 모델 기반 최적화에 대한 IEEE Technical Committee의 최우수 논문상에서 2위를 차지했습니다.
“제가 남들과는 다른 곳에서 연구를 했다는 점이 도움이 되었을 것 같군요.” Patel이 말합니다. “제가 약간 반골 기질이 있는 편입니다.”
장거리 모션 캡처 시스템
치타는 여러 위기에 직면하여 멸종 위기에 처해 있습니다. 놀라운 속도에도 불구하고 치타는 소심한 포식자이며 먹잇감을 차지하기 위해 다른 약탈자들과 경쟁합니다. 기후 변화, 서식지 손실, 밀렵꾼, 인간과의 갈등으로 인해 야생 개체수가 크게 감소했습니다.
ARU는 MathWorks와 긴밀한 협력 관계를 맺고 있습니다. ARU 연구진이 제공한 피드백은 Computer Vision Toolbox 및 Lidar Toolbox의 새로운 기능에 대한 아이디어를 제공하여 이미 제품에 편입되고 있습니다.
“개체 수를 늘리기 위한 번식 및 보존 프로그램이 대규모로 추진되고 있습니다.” Patel의 말입니다. African Robotics Unit은 치타가 사람들을 낯설게 느끼지 않은 지역에 위치한 세 곳의 치타 센터(Cheetah Outreach, Cheetah Conservation & Research Centre, Ashia)와 협력하고 있습니다.
인간의 움직임을 이해하기 위한 기존의 생물역학 기법은 야생동물에 직접 적용할 수 없습니다. 따라서 치타의 모션을 측정할 수 있는 방법을 새롭게 구상해야 했습니다. “전 단순히 목줄을 사서 치타에게 채우면 될 줄 알았습니다.” 그가 설명합니다. “하지만 목줄을 채우기만 한다면 머리, 다리, 척추 또는 꼬리에 대한 정보를 알 수 없었죠.”
포획된 치타를 대상으로 사용하기 위해 ARU 과학자들이 개발한 센서 융합을 지원하는 후방 GPS 기반 카메라 시스템은 잘 작동했지만 이는 치타가 착용을 거부하지 않을 때까지만 작동했습니다. 또 다른 장애물은 센터에 있는 치타는 65kph(40마일) 정도의 속도로 움직여 144kph(89마일)에 달하는 야생 치타에 비하면 이동 속도가 느리다는 점이었습니다.
“실험실에서는 사람 또는 동물에게 전극을 부착하고 근육이 활성화되는 시점을 측정할 수 있지만, 야생에서는 동물을 만지는 것이 불가능합니다.” Patel이 말합니다. “그러던 중 야생동물의 몸통 전체, 즉 골격의 기구학을 원거리에서 측정할 수 있다면 좋을 것이라는 기발한 생각이 떠올랐습니다.”
ARU는 국립공원과 협력하여 연구실을 야생으로 옮겼으며, 여기에서 연구원들은 전속력으로 달리는 치타로부터 더 많은 대표 데이터를 수집하려고 시도했습니다. 하지만 전극이나 웨어러블 장비를 사용하지 않고 세밀한 모션 캡처를 수행하는 것은 꽤 어려운 일입니다. Kgalagadi Transfrontier Park에서 치타는 종종 모래 언덕 위에 잠시 나타난 후 순식간에 사라져 포착하기가 어려웠습니다.
질주하는 치타의 마커리스(비침해적) 3차원 복원. 치타에 대한 여러 뷰를 2차원으로 레이블 지정한 다음 FTE(전체 궤적 추정) 알고리즘으로 융합하여 3차원 골격 모션을 생성합니다. (비디오 출처: University of Cape Town, African Robotics Unit)
Patel과 ARU 팀은 라이다와 망원 렌즈를 사용하여 장거리 모션 캡처 시스템을 개발했고, 다중 센서 융합을 활용하여 원거리에서 3차원 생체역학 데이터를 생성할 수 있었습니다.
MATLAB 툴박스는 치타의 움직임을 분석하고 모델링하는 데 필수적이었습니다. (이미지 출처: University of Cape Town, African Robotics Unit)
센서 융합을 위해 라이다와 카메라 정보를 결합하는 3차원 복원과 같은 프로젝트 구성요소의 경우 MATLAB 툴박스가 필수적이었습니다. Control System Toolbox™는 먹잇감의 모션과 다른 치타 몸통 부위 또는 전체 치타 몸통의 모션 간 입력-출력 관계를 밝히는 데 도움이 되었습니다.
“우리는 보정을 위해 Computer Vision Toolbox를 많이 사용합니다.” Patel의 말입니다. “MathWorks Research Summit에서 모두가 이 카메라 보정이 최고라고 극찬했습니다.” 그는 연례 서밋에 참석하기 위해 매사추세츠주 Natick을 방문했고 MathWorks의 공동 창립자 Cleve Moler와 대화를 나누고 기조 강연을 했습니다.
ARU는 MathWorks와 긴밀한 협력 관계를 맺고 있습니다. ARU 연구진이 제공한 피드백은 Computer Vision Toolbox™ 및 Lidar Toolbox™의 새로운 기능에 대한 아이디어를 제공하여 이미 제품에 편입되고 있습니다.
ARU는 치타 외에도 기린, 사자, 스프링복 등 다양한 동물의 모션을 수집했습니다. 연구팀은 이 시스템을 검증한 후 세상에 공개할 계획입니다.
Patel은 University of Oxford에서 객원 교수로 안식년을 보내는 동안 야생에서 동물의 생체 신호 측정을 향상하는 데 집중했습니다. 일부 질병은 가축에서 야생동물로 옮겨가 빠르게 확산되기 때문에, 특히 자원이 부족한 지역의 경우 생태학자들이 이를 파악했을 때는 이미 너무 늦은 경우가 많습니다. 더 스마트하고 접근성이 높은 원격 모니터링은 조기 경고 시스템을 제공할 수 있습니다.
이러한 원격 시스템을 사용하면 임상의가 피부를 준비하고 값비싼 전극을 부착하지 않고도 환자의 근육 활성화와 같은 사항을 측정할 수 있으므로 사람의 건강에도 도움이 될 수 있습니다. Patel은 이 시스템이 척수 손상 재활 및 보철 피팅에 활용될 수 있을 것이라고 생각합니다.
스포츠 과학자들은 ARU의 특허를 취득한 웨어러블 모션 캡처 시스템에 관심을 보였습니다. 연구소는 넓은 면적을 커버하는 저렴한 3차원 힘판 시스템과 관련하여 추가적으로 획득한 특허를 통해 새로운 대학 분사 기업을 설립해 현재 개발이 진행되고 있습니다. 또한, 연구소의 한 그룹은 Kemba에 활동성 척추를 적용하기 위해 노력하고 있습니다.
Patel의 연구팀은 역강화 학습과 최적 제어에 대한 연구도 진행하고 있습니다. “우리는 모션을 관찰하는 것은 가능하지만, 치타가 왜 그런 행동을 하는지는 아직 확실하지 않습니다.” 그의 말입니다. “치타는 달릴 때 에너지를 절약하려고 하는 것일까요, 기동성을 높이려고 하는 것일까요, 아니면 먹잇감을 최단시간에 가로채려고 하는 것일까요? 역강화 학습을 통해 치타가 어떤 것을 최적화하기를 원하는지에 대한 이해를 증진할 수 있을 것입니다.”
치타는 여전히 그의 마음을 사로잡고 있습니다.
“박사 학위 과정 중에 저는 치타를 이해하기를 원하는 사람이 되기로 결심했습니다.”라고 그가 말합니다. “13년이 지났지만 한 번도 후회하지 않았습니다.”
