챕터 6

인증 가능한 AI 모델 개발

최근 독자적인 블랙박스 알고리즘으로 질병을 진단하거나 치료하는 최초의 AI 기반 의료기기가 시장에 선보여 의료 산업 혁신가들의 이정표가 되었습니다.

규제 기관을 통해 인증을 받을 수 있는 AI 기반 모델을 개발하는 것은 의료기기 개발자의 핵심 과제입니다. 미국 FDA 같은 규제 기관이 승인한 대부분의 최신 기기는 환자에 대한 위험이 적은 것으로 나타났고 시판 전 승인을 받거나 드 노보(De Novo) 저위험 기기로 분류되었습니다.

규제 기관은 아직 거짓양성으로 위험한 시술을 유발할 수 있는 진단 알고리즘과 같이 환자들에게 잠재적 위험이 높은 것으로 판명된 기기를 승인하지 않고 있습니다. 그러한 알고리즘을 승인하려면 아마도 추가적인 통제조치가 필요할 것입니다.

MATLAB 및 Simulink를 사용하면 AI 모델을 개발할 수 있을 뿐만 아니라 소프트웨어 품질을 보장하는 데 필요한 데이터를 수집할 수도 있습니다. 뿐만 아니라

• MATLAB을 사용하면 설명 가능하고 해석 가능한 AI 모델을 구축할 수 있습니다.
• 또한 모델 개발 단계에서 모델이 AI 기반의 SaMD(Software as a Medical Device) 인증 요건인 IEC 62304 지침을 준수하는지 검증하는 정형화된 공정을 따를 수도 있습니다.

해석 가능성과 설명 가능성

해석 가능성과 설명 가능성은 밀접한 관계가 있습니다. 해석 가능성은 전통적인 머신러닝에서 더 자주 사용되는 반면, 심층 신경망 맥락에서는 주로 'AI 설명 가능성'을 사용합니다.

해석 가능성과 설명 가능성은 인간이 머신러닝 알고리즘을 이해할 수 있는 정도를 가리킵니다. 머신러닝 모델은 지식의 표현이 직관적이지 않고 의사결정 과정이 투명하지 않기 때문에 흔히 '블랙박스'라고 부릅니다. 그래서 머신러닝 모델의 작동 방식을 이해하기 어려운 경우가 많습니다.

해석 가능성 기법을 이용하면 다양한 특징이 어떻게 예측에 기여하는지 또는 기여하지 않는지 드러내어 머신러닝 모델의 예측 방식을 알 수 있습니다. 해석 가능성 기법을 통해 다음과 같은 작업을 할 수 있습니다.

• 모델이 예측에 적절한 증거를 사용하고 있는지 검증.
• 훈련 중에는 잘 드러나지 않던 모델의 편향 발견.

선형 회귀, 결정 트리, GAM(Generalized Additive Model) 등의 일부 머신러닝 모델은 태생적으로 해석 가능합니다. 그러나 해석 가능성 때문에 예측 검정력과 정확도가 희생되는 경우가 흔합니다.

해석 가능성은 미국 FDA, Health Canada, 영국 MHRA(Medicines & Healthcare products Regulatory Agency)가 공동으로 발행한 의료기기 개발에 대한 문서 Good Machine Learning Practice에서 표준 이행 원칙으로 강조되어 왔습니다[6]. 머신러닝과 딥러닝에 MATLAB을 사용하여 다양한 모델에 대해 성공적인 해석 결과를 생성하기 위해 몇 가지 기법을 사용할 수 있습니다. 다음과 같은 예가 있습니다.

• LIME(Local interpretable model-agnostic Explanation)
• PDP(부분 종속성)
• ICE(개별 조건부 기대값) 플롯
• 섀플리 값
• CAM(클래스 활성화 매핑)
• Grad-CAM(Gradient-weighted class activation mapping)
• 가림 민감도

해석 가능성과 설명 가능성은 AI 모델을 이해하기 위한 첫걸음입니다. 그러나 워크플로의 나중 단계로 갈수록 모델이 탄탄하게 구축되었는지 확인해야 할 수도 있습니다. 신경망은 인간이 쉽게 인지할 수 없는 입력의 아주 작은 변화가 입력의 오분류를 유발할 수 있는 적대적 예제로 알려진 현상에 취약합니다. Deep Learning Toolbox Verification Library를 사용하면 딥러닝 신경망이 적대적 예제에 대해 견고한지를 검증하고 입력 범위에 대한 출력 범위를 계산할 수 있습니다.

모델 검증 및 배포

의료기기 제작자는 자신의 AI 기반 모델을 임상 연구자와 함께 검증할 책임이 있습니다. Good Machine Learning Practice 문서에서는 또한 대상 환자군을 포함하는 임상 연구를 수행하여 AI 기반 모델을 검증하는 것이 중요하다는 점을 강조하고 있습니다[6].

MATLAB을 사용하면 AI 기반 응용 프로그램을 임상의 또는 병원과 공유하여 검증할 수 있습니다. MATLAB은 최종 사용자를 위해 개별적으로 설치 및 공유하거나, 웹 서버에 호스트하여 여러 사용자가 웹 브라우저를 통해 액세스할 수 있는 독립형 응용 프로그램을 제작할 수 있는 옵션을 제공합니다.

또한 MATLAB은 빠르게 동시 요청을 처리하기 위해 프로덕션 서버에 AI 응용 프로그램을 배포하는 기능을 지원하며, 일괄 처리 모드에서 대량의 환자 데이터를 처리하기 위해 병렬 서버 지원 기능도 함께 제공합니다. 알고리즘에 대한 배포 가능한 자체 충족형 C/C++ 코드를 생성하여 손쉽게 독립형 프로그램으로 배포하거나 기존의 임상 응용 프로그램에 통합하여 검증 연구를 수행할 수도 있습니다.

인증 워크플로 (IEC 62304)

MathWorks를 사용하면 소프트웨어형 의료기기 개발에 관한 IEC 62304 지침을 쉽게 준수할 수 있습니다. MATLAB 워크플로는 검증 및 확인을 소프트웨어 개발 워크플로에 통합할 수 있습니다. 따라서 소프트웨어를 의료기기에 통합하기 전에 종합적으로 테스트하고 검증할 수 있습니다.

MATLAB은 또한 의료기기 개발 워크플로의 일부로서 상세한 소프트웨어 개발 계획, 소프트웨어 요구사항 분석, 소프트웨어 아키텍처 설계, 소프트웨어 상세 설계, 소프트웨어 단위 구현 및 테스트, 소프트웨어 통합 및 테스트, 소프트웨어 시스템 테스트 기능을 제공함으로써 소프트웨어 개발 과정을 지원합니다. 뿐만 아니라 MATLAB 및 Simulink를 통해 제안된 소프트웨어의 변경 사항이 소프트웨어 항목에 미치는 영향을 시뮬레이션하여 변경 사항이 미치는 영향을 평가할 수도 있습니다.

MATLAB은 소프트웨어 개발과 소프트웨어 유지보수에 대한 IEC 62304 표준에서 요구하는 대부분의 규제 준수 문서를 생성할 수 있습니다. MATLAB 및 Simulink를 사용한 IEC 62304 워크플로에 대한 자세한 내용은 의료기기의 IEC 62304 준수 임베디드 소프트웨어 개발하기 백서에서 확인할 수 있습니다.

Khwaja - IEC 62304 인증 획득 사례

과제

심혈관 질환의 인지와 치료에 있어 ECG(심전도) 데이터 분석은 필수입니다.

결과

팀은 Simulink로 작업하여 IEC Certification Kit에 제공된 참조 워크플로를 따라 모델을 확인 및 검증하고, 자동으로 코드를 생성함으로써 개발 시간을 종래의 방식에 비해 40% 단축했습니다. 또한 ISO^® 13485 및 IEC 62304에 대한 TÜV SÜD의 인증 및 감사를 가속화할 수 있었습니다.