[Hinews 하이뉴스] 가톨릭관동대학교 국제성모병원 연구팀이 국내에서 처음으로 인공지능 언어모델의 한국어 암 정보 응답 정확도를 비교·분석한 연구 결과를 발표했다.

연구는 장현 종양혈액내과 교수, 정진우 비뇨의학과 교수, 김용호 방사선종양학과 교수팀이 진행했으며, 대표적인 AI 모델인 ‘ChatGPT’와 ‘클로바X’를 대상으로 했다.

(왼쪽부터) 장현 종양혈액내과 교수, 정진우 비뇨의학과 교수, 김용호 방사선종양학과 교수 (국제성모병원 제공)
(왼쪽부터) 장현 종양혈액내과 교수, 정진우 비뇨의학과 교수, 김용호 방사선종양학과 교수 (국제성모병원 제공)
연구팀은 국가암정보센터와 미국국립암연구소 홈페이지에 게시된 암 관련 질문을 두 AI 모델에 입력하고, 그 응답을 전문의가 평가했다. 평가 기준은 정보의 정확성, 이해도, 임상적 유용성 등이었다.

결과적으로 두 모델 모두 전체적인 응답 품질은 유사했으며, 통계적으로 큰 차이는 없었다. 다만 일부 문항에선 사실과 다른 내용이나 비의학적 표현을 포함한 ‘환각(hallucination)’ 응답이 확인됐다.

장 교수는 “이번 연구는 인공지능이 한국어로 의료정보를 제공하는 데 있어 어느 수준에 와 있는지를 보여주는 기초자료”라며 “AI가 암환자들에게 더 신뢰받을 수 있도록 정확도 향상에 집중하겠다”고 밝혔다.

이번 논문은 Yonsei Medical Journal 7월호에 ‘한국어 암 관련 질문에 대한 대규모 언어모델의 응답 비교 분석’이라는 제목으로 실렸다.

저작권자 © Hinews 무단전재 및 재배포 금지
ad