(출처:유튜브-메디컬투데이TV)

 

· 생성형 AI 챗봇을 이용한 질환 상담이 증가하는 가운데, 상용 AI 모델 대다수가 악의적인 프롬프트 인젝션 공격에 취약하여 잘못된 치료를 권할 위험이 높은 것으로 나타났습니다.

· 서울아산병원 연구팀은 의료용 대규모 언어 모델(LLM)이 프롬프트 인젝션 공격에 94% 이상 취약하며, 최상위 모델인 GPT-5와 Gemini 2.5 Pro마저도 100% 노출되어 임산부에게 태아 장애 유발 약물을 권하는 등 심각한 안전성 한계를 보였다고 밝혔습니다.

· 이번 연구는 AI 모델의 의료 상담 적용 시 프롬프트 인젝션 공격 취약성을 세계 최초로 체계적으로 분석했으며, 향후 AI 모델을 임상에 적용하기 위해서는 안전성 검증 등 추가 조치가 필요함을 시사합니다.

· 연구팀은 GPT-4o-mini, Gemini-2.0-flash-lite, Claude 3 Haiku 등 3종의 AI 모델을 대상으로 12개 임상 시나리오와 두 가지 공격 기법을 사용하여 보안 취약성을 분석한 결과, 평균 94.4%의 공격 성공률을 확인했습니다.

· 특히, 임신부에게 금기 약물을 권장하는 최고 단계의 위험 시나리오에서도 3종 모델 모두 취약했으며, 조작된 답변이 후속 대화까지 80% 이상 지속되어 안전장치가 무너질 경우 위험이 이어질 수 있음이 드러났습니다.

· 추가적으로 최신 AI 모델인 GPT-5, Gemini 2.5 Pro, Claude 4.5 Sonnet을 대상으로 한 평가에서도 공격 성공률이 80% 이상으로 나타나, 최신 AI 모델 역시 악의적 공격을 효과적으로 방어하지 못하는 것으로 확인되었습니다.

· 연구팀은 현재의 안전장치만으로는 금기 약물 처방을 유도하는 악의적 공격을 차단하기 어렵다며, 환자 대상 의료 챗봇 및 원격 상담 시스템 도입 시 AI 모델의 취약성 및 안전성 철저한 테스트와 보안 검증 체계 의무화를 강조했습니다.

[ⓒ 메디컬투데이. 무단전재-재배포 금지]