인허가 이후에도 변화하는 AI/ML 기반 SaMD를 어떻게 규제할 것인가

디지털 헬스케어 파트너스, 대표파트너

디지털 헬스케어 연구소, 소장

최윤섭,PhD
인허가 이후에도 변화하는 AI/ML 기반 SaMD를

어떻게 규제할 것인가

• 가이드라인 및 백서 이전의 discussion paper 의 상태.

• 해당 주제에 대한 FDA의 고민을 공유하고 있으며, 아직 확립된 개념/절차는 아님.

• 개별 항목마다 공개 질문들 및 피드백이 필요한 부분을 공유하고 있음.

기존의 501(k) SW modification 가이드라인
•SW modification이 환자/사용자에게 미치는 Risk에 의해 판단

• significant harm을 줄 수 있는 새로운 risk; 기존 risk의 변화

• significant harm을 막는 risk control의 변화

• clinical functionality 혹은 performance specification에 영향을 주는 변화

•AI/ML-based SaMD라면 아래와 같은 변화

• 기기의 성능: 안전성/유효성

• 알고리즘

• 사용 목적 (intended use) 등

SaMD
• 이 문서에서 다루는 AI/ML 소프트웨어는 결국 SaMD의 일종으로 간주 
의료기기
엑스레이 기기

혈압계
디지털 헬스케어
핏빗

런키퍼

슬립싸이클
디지털

치료제
페어 알킬리
엠페티카
얼라이브코어
프로테우스
*SaMD: Software as a Medical Device
복잡한
데이터 시그널
영상의학
병리
안과
피부
인공지능
SaMD*
의료  
영상

en together, these factors describing the intended use can be used to place the AI/ML-based SaMD
o one of four categories, from lowest (I) to highest risk (IV) to reflect the risk associated with the
ical situation and device use.
ile AI/ML-based SaMD exist on a spectrum categorized by risk to patients, they also exist on a
ctrum from locked to continuously learning. “Locked” algorithms are those that provide the same
ult each time the same input is provided. As such, a locked algorithm applies a fixed function (e.g., a
tic look-up table, decision tree, or complex classifier) to a given set of inputs. These algorithms may
manual processes for updates and validation. In contrast to a locked algorithm, an adaptive
orithm (e.g., a continuous learning algorithm) changes its behavior using a defined learning process.
e algorithm adaptation or changes are implemented such that for a given set of inputs, the output
y be different before and after the changes are implemented. These algorithm changes are typically
plemented and validated through a well-defined and possibly fully automated process that aims at
State of
healthcare
situation or
condition
Significance of information provided by SaMD to healthcare
decision
Treat or diagnose
Drive clinical
management
Inform clinical
management
Critical IV III II
Serious III II I
Non-serious II I I
Figure 1: SaMD IMDRF risk categorization
SaMD IMDRF risk categorization
• IMDRF 에서는 SaMD를 두 기준에 따라 네 가지 risk category로 구분한다.

• 1. SaMD가 의료 결정에 제공하는 정보의 중요성

• 치료/진단용 ; 임상 관리 주도(drive) ; 임상 관리용 정보 제공 (inform)

• 2. 의료 상황/조건의 상태

• critical ; serious ; non-serious

•기존의 방식은 ‘Locked’ 알고리즘을 가정

• ‘Locked’의 정의: 동일한 input에 대해서는, 항상 동일한 output 이 나온다

• 기존의 FDA 인허가 받은 AI 는 모두 locked 알고리즘으로
기존의 AI/ML-based SaMD 인허가

•하지만 어떤 AI는 인허가 이후에도 바뀐다: adaptive learning

• SaMD가 배포된 이후부터 Real-World Experience에 의해 계속 배우는 경우

• Watson for Oncology: 의사의 사용 결과/매일 나오는 논문을 반영한다면

• 중환자실 심정지 예측: true alarm / false alarm 결과 재반영

• 흉부 엑스레이 분석: 새로운 데이터의 학습 / 알고리즘 발전 / intended for use 확장

•“Iterative, autonomous, adaptive nature”

•현장의 사용 결과를 주기적/지속적으로 반영: AI의 가치 극대화

•이 경우도 안전성 & 유효성 유지 필요
그런데 AI가 인허가 후에도 ‘계속’ 바뀐다면?
실시간? 자주?

•대부분 아래의 세 가지 유형 중에 하나 (혹은 둘 이상)

•유형 1. Performance

• 새로운 dataset으로 다시 알고리즘을 트레이닝하는 경우

•유형 2. Input

• a. 같은 종류 데이터; 새로운 데이터 소스: 추가적인 브랜드의 CT 스캐너의 input

• b. 새로운 종류의 데이터: 심박수만 입력하다가 → 심박수 & 산소포화도

•유형 3. Intended Use

• 제공하는 정보의 중요도: ‘aid in diagnosis’ → ‘definitive diagnosis’

• 사용하는 조건/대상의 변화: 18세 이상 → 소아청소년 환자 포함

• 대상 질병의 확대
AI/ML-based SaMD 변경 유형

Total Product Lifecycle (TPLC) 접근법
Figure 4. Total Product Lifecycle Approach of the Software Pre-Cert Program
The FDA proposes that certain elements traditionally reviewed in a premarket submission for a
SaMD product can be evaluated at the organization level during the Excellence Appraisal and at
the product level during Review Pathway Determination and Streamlined Review. Furthermore,
Real-world Performance plans may be leveraged to verify a SaMD’s continued safety,
effectiveness, and performance. Figure 5 provides a depiction of different points in the lifecycle
of a software product when certain review elements could be evaluated. FDA intends to test the
Total Product Lifecycle Approach of the Software Pre-Cert Program
Pre-Cert Working Model v1.0 (2019)
• 개발사 & 제품의 전체 수명 주기에 걸쳐 안전성 & 유효성의 합리적인 확신 제공

• ‘시판 전’ 개발부터, ‘시판 후’ 성능에 이르기까지 지속적인 모니터링: RWP

• 이 문서의 고민과 Pre-Cert 와의 관계가 어떻게 될지는 아직 확실하지 않으나,

• 의료기기 인허가 ‘이후’의 변경에 대한 고민이라는 공통점이 있음

• 때문에 결국 TPLC (전주기적) 접근법을 적용하여,

• 조직의 개발 및 관리 능력에 대한 기준을 제시하고 (GMLP)

• Real-World Performance에 기반한 지속적 관리 강조되는 ‘공통점’

• 차이점

• Pre-Cer에서는 조직의 역량을 평가하는 Excellence Appraisal 별도 제시
Pre-Cert와 이 문서의 관계는..?

Total Product Lifecycle (TPLC) 접근법
healthcare professionals, and other users have
assurance of the safety and quality of those products.
This TPLC approach enables the evaluation and
monitoring of a software product from its premarket
development to postmarket performance, along with
continued demonstration of the organization’s
excellence (Figure 2).
To fully realize the power of AI/ML learning algorithms while enabling continuous improvement of their
performance and limiting degradations, the FDA’s proposed TPLC approach is based on the following
general principles that balance the benefits and risks, and provide access to safe and effective AI/ML-
SaMD that require premarket
submission and not those that are
exempt from requiring premarket review
(i.e., Class I exempt and Class II exempt).
Figure 2: Overlay of FDA's TPLC approach on AI/ML workflow
Overlay of FDA's TPLC approach on AI/ML workflow
(이 유형의 변경만

있는 것은 아님..)

AI/ML 기반의 SaMD에

TPLC를 구체적으로 어떻게 적용?
• 1. Quality Systems and Good Machine Learning Practices (GMLP)

• 2. Initial Premarket Assurance of Safety and Effectiveness

• SPS(SaMD Pre-Specifications)

• ACP(Algorithm Change Protocol)

• 3. Approach for modifications after initial review with an established SPS/ACP

• 4. Transparency and Real-World Performance monitoring

1. Quality Systems and

Good Machine Learning Practices (GMLP)
“품질시스템과 우수 머신러닝 운영기준”
• FDA는 모든 (기존) 의료장비 제조업체가

• 적절한 표준과 규정을 따를 것

• 고품질의 제품을 개발/제공/유지할 수 있는 품질 시스템을 갖출 것을 요구 
• AI/ML 기반 SaMD 개발사는 “Organizational Excellence, Culture of Quality”를 보유

• (Pre-Cert 에서 의미하는 Excellence Appraisal 로 평가할 것인지는 불분명)

• GMLP: AI/ML 알고리즘 개발, 데이터 관리/학습, 모델 평가 등에 들어가는 best practice

• (GMLP의 개념이 확립된 것은 아니며, 추가로 고려할 사항에 대해서 의견 수렴 중)

•Initial premarket review 시에, 향후 수정에 대한 관리 계획을 제출

•SaMD Pre-Specification (SPS)

• 제조사가 예상/계획하는 출시 이후 performance / input / intended use 상의 변화

• 최초 기기에서 향후 변화할 범주 (region of potential changes)를 정의

•Algorithm Change Protocol (ACP)

• SPS에서 정의된 변화에 대한 risk 를 컨트롤하기 위한 구체적인 방법

• 변화 이후에 safety/effectiveness 유지 되도록 data/procedure 에 대해 단계별 기술
2. Initial Premarket Assurance

of Safety and Effectiveness

ACP(Algorithm Change Protocol)의 구성 요소 (예시)
general overview of the components of an ACP. This is "how" the algorithm will learn and change while
remaining safe and effective.
Scope and limitations for establishing SPS and ACP: The FDA acknowledges that the types of changes
that could be pre-specified in a SPS and managed through an ACP may necessitate individual
consideration during premarket review of benefits and risks to patients of that particular SaMD. The
Figure 4: Algorithm Change Protocol components
"how" the algorithm will learn and change while remaining safe and effective.

3. Approach for modifications

after initial review

with an established SPS/ACP
•기본적으로는 기존의 SW modifications guidance 를 따름

• risk-based approach

• 제조사가 risk assessment 를 하고, risk 가 reasonably mitigate 되었는지 평가

•기존 가이드라인에서는 modification type에 따라서,

• 1) submission of a new 510(k) for premarket review or,

• 2) documentation of the modification  
and the analysis in the risk management and 510(k) files

•하지만, SPS와 ACP 승인을 받았다면, 이 범주 내에 있는 변화인가를 판단

Approach to modifications to

previously approved SaMD with SPS and ACP

modifications guidance results in either 1) submission of a new 510(k) for premarket review or 2)
documentation of the modification and the analysis in the risk management and 510(k) files. If, for
AI/ML SaMD with an approved SPS and ACP, modifications are within the bounds of the SPS and the
ACP, this proposed framework suggests that manufacturers would document the change in their change
history and other appropriate records, and file for reference, similar to the “document” approach
outlined in the software modifications guidance.
Figure 5: Approach to modifications to previously approved SaMD with SPS and ACP. This flowchart should only be
considered in conjunction with the accompanying text in this white paper.
Intended use에는

변화가 없더라도

RWP 등에 의해서

SPS/ACP의

수정이 필요한 경우,

focused review를 수행

4. Transparency and

Real-World Performance monitoring
• 이 규제 프레임워크에서 TPLC 접근법을 구현하기 위한 두 가지 전제

• 1. 투명성: 의료기기의 기능과 성능 변경에 대한 투명성

• FDA, 의사, 환자, 일반 사용자 등에 대해서 변경 등에 대한 최신 정보의 제공

• SPS/ACP의 변경에 대한 정확한/완전한 기술: 이론적 근거, 입력값 변화, 성능 변화 등

• 어떠한 방식/절차에 따라 연락할 것인지도 확립이 필요

• 2. RWP 모니터링: Real World Performance를 어떻게 모니터링 할 것인가

• RWP 모니터링 방식은 다양한 메커니즘으로 가능 (FDA pilot, Pre-Cert … etc)

• 보고 유형과 빈도는 의료기기의 위해도, 변경 홧수/유형, 알고리즘 성숙도에 따라

예시
•중환자실(ICU) SaMD

•피부 병변 모바일 의료 앱(Mobile Medical App, MMA)

•X선 영양관 위치오류 판독 SaMD

•유형 1. Performance

• 새로운 dataset으로 다시 알고리즘을 트레이닝하는 경우

•유형 2. Input

• a. 같은 종류 데이터; 새로운 데이터 소스: 추가적인 브랜드의 CT 스캐너의 input

• b. 새로운 종류의 데이터: 심박수만 입력하다가 → 심박수 & 산소포화도

•유형 3. Intended Use

• 제공하는 정보의 중요도: ‘aid in diagnosis’ → ‘definitive diagnosis’

• 사용하는 조건/대상의 변화: 18세 이상 → 소아청소년 환자 포함

• 대상 질병의 확대
AI/ML-based SaMD 변경 유형 (revisited)

예시(1) 중환자실(ICU) SaMD
• 중환자실 환자를 위한 AI/ML 애플리케이션

• 환자 모니터로부터 심전도, 혈압, SpO2 데이터를 측정

• 생리적 불안정성이 시작될 때 발생하는 패턴 감지 → 알람

• IMDRF 분류

• ‘drive clinical management’/ ‘critical healthcare situation or condition.’

• SPS

• sub-population 전체에서 일관된 성능을 나타내도록 알고리즘 변경

• 특히, RW monitoring 에서 알고리즘 성능이 좋지 않을 경우에 변경

• ACP

• DB 생성, 참조 표준 레이블링, 비교분석 방법 (성능 요구사항, 통계적 분석) 기재

• 제조사는 GMLP를 따름

•변경 시나리오 1A: SPS 및 ACP와 일치하는 성능 증가(유형 1 변경)

• ACP에 따라서 새로운 데이터를 활용,

• 민감도를 유지하면서, false alarm rate을 줄이도록 알고리즘을 변경

• 독립된 dataset에 대해서 false alarm의 감소를 증명

• 변경된 SaMD 성능에 대한 기재를 갱신하고, 사용자에게 전달

• 이 경우의 알고리즘 변경은 FDA의 추가적인 검토 없이 시행 가능

•변경 시나리오 1B: SPS 및 ACP와 일치하지 않는 성능 증가 및 intended use
의 변경(유형 3 변경)

• 알고리즘의 변경으로 생리적 불안정성이 시작되기 15분 전에 예측 (with 동일 민감도)

• 제조사는 이에 따라 알고리즘, 레이블링, intended use의 갱신을 원함

• 이는 기존 SPS 및 ACP에 포함되지 않은 사항

• FDA는 변경이 허용되기에 앞서, 알고리즘 변경에 대해 새로운 SPS 및 ACP 검토 가능
modifications guidance results in either 1) submission of a new 510(k) for premarket review or 2)
documentation of the modification and the analysis in the risk management and 510(k) files. If, for
AI/ML SaMD with an approved SPS and ACP, modifications are within the bounds of the SPS and the
ACP, this proposed framework suggests that manufacturers would document the change in their change
history and other appropriate records, and file for reference, similar to the “document” approach
outlined in the software modifications guidance.

예시(2) 피부 병변 모바일 의료 앱
• 피부 병변 모바일 의료 앱 (MMA)

• 스마트폰 카메라로 촬영한 영상을 분석하여, 피부과 전문의가

• 양성/악성을 구분할 수 있도록 피부 병변의 물리적 특성에 관한 정보 제공

• IMDRF 분류

• ‘drive clinical management’/ ‘serious healthcare situation or condition.’

• SPS

• RWD를 사용하여 병변 특성 분석에 대한 민감도/특이도를 향상

• 유사한 스마트폰 영상 획득 시스템으로 확장하고, 이 시스템의 성능을 RWP로 모니터링

• ACP

• 성능 요구사항 (민감도/특이도 포함), DB생성, 참조 표준 레이블링, 비교분석 방법

• 영상 획득 시스템의 수용 기준, MMA 성능 요구사항을 입증하는 검증 연구

• RWP 계획, 제조사는 GMLP 따름

•변경 시나리오 2A: SPS 및 ACP와 일치하는 성능 증가(유형 1 변경)

• 다양한 스마트폰 플랫폼의 MMA를 활용하여 RWD를 수집

• active learning을 통해서 민감도/특이도가 향상 (ACP에 기술된 대로 수행)

• RWD를 학습하여 변경된 알고리즘은 추가적인 FDA 검토 없이 시판 가능

•변경 시나리오 2B: SPS 및 ACP와 일치하는 입력 변경 (유형 2 변경)

• SPS와 ACP와 일치하는 영상 획득 기준을 가진 2종류의 추가 스마트폰에 MMA 설치

• 새로운 영상획득시스템을 사용한 결과 성능에는 변동 없음

• 추가 스마트폰을 반영하여 표시 기재 변경, 의료 집단에서의 MMA 접근성 증가

• 알고리즘 변경은 추가적인 FDA 검토 없이 시판 가능

•변경 시나리오 2C: SPS 및 ACP와 일치하지 않는 intended use 변경  
(유형 3 변경)

• 새 버전의 앱을 환자용(patients-facing) 스마트폰 플랫폼에 배포하고자 함

• 즉, 환자에게 병변을 분석해주고, 이를 토대로 피부과 전문의에 후속 조치 받도록 지시

• SPS/ACP에 포함되지 않는 새로운 리스크를 초래

• FDA는 새로운 premarket submission/application 및 갱신된 SPS 및 ACP를 요구
할 수 있음

예시(3) X-ray 영양관 위치 오류 SaMD
• X-ray 영양관 위치 오류 SaMD

• 영양관 삽입술을 받은 입원 환자의 흉부 엑스레이를 분석

• 영양관 위치 평가 & 잘못 위치한 영양관 감지, 여러 엑스레이 필름 중 triage (우선순위)

• IMDRF 분류

• ‘drive clinical management’/ ‘serious healthcare situation or condition.’

• SPS

• RWD를 활용하여 영양관 위치 분석에 대한 정확도를 향상

• Queue 에 있는 영상들을 triage하여, 간호사에게 환자를 체크하라고 noti

• ACP

• DB 생성, 참조 표준 레이블링, 비교분석 방법 (성능 요구사항, 통계적 분석) 기재

• RWD 수집 방법에 대한 기술

• high-confidence 사례 결정을 위한 임상적 검증; 성능 향상에 대한 분석적 검증

•변경 시나리오 3A: SPS 및 ACP와 일치하는 성능 증가 및 의도된 용도 관련 변
경(유형 2 변경)

• ACP에 따라 RWD로 알고리즘을 재훈련 + 재검증

• 영양관 위치 확인에 대한 정확도가 향상

• Intended Use 변경: 영양관 위치 오류 발견시 간호사/의사에게 알림이 가도록 변경

• 알고리즘 변경은 추가적인 FDA 검토 없이 시판 가능

•변경 시나리오 3B: SPS 및 ACP와 일치하지 않는 의도된 용도 관련 변경(유형
3변경)

• 흉부 엑스레이에서 폐렴을 확인하는 새로운 AI/ML 알고리즘을 개발

• with 새로운 input, annotation …

• 알고리즘 개발/검증은 SPS/ACP에 제시된 것과 비슷하지만, 새로운 임상적인 task

• 정보의 중요성뿐만 아니라, 의료 상황 및 조건의 변화 초래; 새로운 intended use

• FDA는 새로운 premarket submission/application 및 갱신된 SPS 및 ACP를 요구
할 수 있음 (개인적으로는 이러한 부분까지 SPS 및 ACP 가 적용되어야 하는지 의문)

인허가 이후에도 변화하는 AI/ML 기반 SaMD를 어떻게 규제할 것인가

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a 인허가 이후에도 변화하는 AI/ML 기반 SaMD를 어떻게 규제할 것인가

Semelhante a 인허가 이후에도 변화하는 AI/ML 기반 SaMD를 어떻게 규제할 것인가 (20)

Mais de Yoon Sup Choi

Mais de Yoon Sup Choi (20)

인허가 이후에도 변화하는 AI/ML 기반 SaMD를 어떻게 규제할 것인가