UMass Amherst - 무용과학 교육 학습 및 교육을 위한 대화형 방식의 컴퓨터 비전 앱 개발 사례
"무용과 학생들이 제가 MATLAB으로 만든 앱을 보자, 그들은 직접 앱을 만드는 방법을 배우는 데 관심을 갖게 되었습니다. 이 교육과정은 생물학, 컴퓨터과학 및 공학의 다양한 분야에서 MATLAB을 사용하는 계기가 되었습니다."
과제
학생들이 관절 각도와 무용 동작을 측정할 수 있는 대화형 방식의 디지털 툴 생성
솔루션
앱 디자이너를 사용하여 비디오 처리 알고리즘에 대한 사용하기 쉬운 인터페이스를 생성하여 웹 기반 앱으로서 학생, 교수 및 연구자와 공유
결과
- 4주 안에 초기 버전 앱 개발
- 폭넓은 사용자 기반 도달
- 새로운 연구 아이디어 창출
Scientific Foundations of Dance(무용의 과학적 토대)는 UMass Amherst의 생명과학 교양 교육과정으로서, 학부생들이 무용 동작의 생물역학을 분석하는 교육과정입니다. 이 교육과정의 실습에서 학생들은 예를 들어 댄서의 팔과 다리의 관절 각도 측정 같은 동작 측정 과제를 이수하여 신체의 운동 방식을 더욱 깊이 이해하게 됩니다.
학생들에게 가상 학습 및 실습 환경을 제공하기 위해 UMass Amherst의 무용과학과 조교수인 Aston K. McCullough 박사는 MATLAB®을 사용하여 운동과학을 교육하기 위한 디지털 플랫폼을 만들었습니다. 단 4주 안에 초기 버전을 개발한 후에 그는 MATLAB Compiler™를 사용했고, 이후 MATLAB Web App Server™를 사용하여 플랫폼의 기구학 분석 툴을 학생, 다른 교육자, 연구자들과 공유했습니다.
McCullough 박사는 "학생들이 자신들의 노트북을 실험실로 바꿀 수 있는 새로운 툴을 만들기 원했습니다. "앱 디자이너와 MATLAB Web App Server를 사용해서 저는 무용과 및 생물학과 학생들이 자신들의 컴퓨팅 플랫폼과 무관하게 비디오 속의 동작을 분석할 수 있는 앱을 만들고 손쉽게 공유할 수 있었습니다"라고 말합니다.
과제
팬데믹으로 인해 2021년 봄 학기를 시작할 때까지도 대부분의 대면 수업이 계속 중단됨에 따라 McCullough 박사는 학생들이 원격으로 과제를 완료할 수 있는 가상 실습 역할을 할 대화형 앱을 단 몇 주 만에 개발해야 했습니다. 그는 학생들이 녹화된 비디오 데이터를 이용하여 관절 각도와 움직임을 분석할 수 있는 대화형 방식 앱을 개발하고 공유하기를 원했습니다. 이 앱은 사용이 편리할 뿐만 아니라 학생들과 기타 교육자들이 사용하는 다양한 기기와 컴퓨팅 플랫폼에서 작동해야 했습니다.
솔루션
McCullough 박사는 사용자 인터페이스를 만드는 데 사용한 앱 디자이너로 앱을 개발하기 시작했습니다. 그는 Image Processing Toolbox™ 및 Computer Vision Toolbox™를 사용하여 학생들이 녹화된 비디오에서 관절 각도를 측정하고 움직임을 분석할 수 있는 알고리즘을 개발했습니다.
이어서 그는 MATLAB Compiler를 사용하여 사용자 인터페이스와 비디오 처리 알고리즘을 Mac 및 Windows®용 독립형 실행 파일로 패키징했습니다. Chromebook™ 등의 기기에서 앱에 액세스해야 하는 학생들을 위해 McCullough 박사는 표준 웹 브라우저에서 MATLAB에 액세스할 수 있는 버전의 앱을 MATLAB Online™에서 제작했습니다.
계속 앱을 개발하면서 McCullough 박사는 MATLAB Web App Server를 사용하여 웹 응용 프로그램으로서 그 앱을 배포하기로 결심했습니다. 이 접근법을 통해 학생들이 소프트웨어를 설치하거나 MATLAB Online 라이선스를 확보할 필요가 없어졌습니다. 또한 McCullough 박사는 알고리즘과 개선사항을 앱에 계속적으로 추가하고 학생들은 간단히 브라우저 페이지를 새로 고침으로서 소프트웨어의 최신 버전에 액세스할 수 있게 되었습니다.
실험 과제를 완료하기 위해 학생들은 다양한 행동을 하는 자신들의 녹화된 이미지나 비디오를 업로드하고 앱의 기능들을 사용하여 관절 각도, 거리, 녹화물의 기타 속성 등을 분석했습니다. 학생들은 데이터를 풀링하여 MATLAB Online에서 분석했습니다.
McCullough 박사는 계속 그 앱을 개선하고 있습니다. 최근에는 관성 측정 장치 데이터의 사용과 딥러닝과 머신러닝 모델을 위한 실측 레이블 생성을 지원하는 기능을 추가했습니다.
National Endowment for the Arts Research Labs와 UMass Amherst 간 협력 사업의 일부로 McCullough 박사는 MATLAB Web App Server를 통해 공중보건, 신경과학, 공학 분야의 연구자들과 공유할 신호 처리 및 기타 앱 개선 사항을 개발하고 있습니다.
대화형 방식의 MATLAB 앱을 사용하여 UMass Amherst 학생들은 녹화된 비디오 데이터를 토대로 관절 각도와 움직임을 분석할 수 있습니다.
결과
- 4주 안에 초기 버전 앱 개발. McCullough 박사는 "저는 단 4주 안에 MATLAB에서 그 앱의 최초 데스크탑 버전을 만들어 개강 직전에 완성했습니다. 학기 중에 저는 MATLAB Web App Server를 사용하여 2주에 걸쳐 웹 앱 버전을 만들었습니다"라고 말합니다.
- 폭넓은 사용자 기반 도달. McCullough 박사는 "제가 개발한 앱을 MATLAB Web App Server로 공유함으로써 더 많은 사람들이 유효하고 신뢰성 있는 툴에 액세스하여 활동, 특히 무용 동작을 정량화할 수 있게 되었습니다. 학생들뿐만 아니라 신경과학자, 엔지니어, 공중보건 연구자들도 이를 사용해 기구학 데이터를 분석할 수 있습니다"라고 말합니다.
- 새로운 연구 아이디어 창출. McCullough 박사는 "MathWorks 팀과의 대화를 통해 제 연구를 위한 아이디어를 더 많이 창출했습니다. 게다가 다른 연구소의 연구자들이 연락해 와서 직접적인 협업이나 아이디어를 제안하기도 합니다. 이런 앱의 MATLAB Web App Server 버전은 가상 실습 플랫폼을 제공함으로써 놀라운 성장 기회로 발전했습니다"라고 말합니다.
