[Hinews 하이뉴스] 최신 인공지능(AI) 모델이 제공하는 의학 정보의 정확도를 비교 분석한 연구 결과가 발표됐다. 연구에서는 일부 AI 챗봇이 무릎 인공관절수술 관련 질문에 대해 비교적 높은 정확도의 답변을 제공하는 것으로 나타났다.

한림대학교동탄성심병원 정형외과 송시영 교수 연구팀은 무릎 인공관절수술과 관련된 질문에 대한 AI 챗봇 5종의 답변 성능을 비교·분석한 연구 결과를 발표했다. 이번 연구는 ‘GPT-3.5, GPT-4, GPT-4 Omni, Gemini Advanced, Gemini 1.5의 무릎 인공관절수술 관련 질문에 대한 답변 능력 비교·분석(A Comparative Analysis of GPT-3.5, GPT-4, GPT-4 Omni, Gemini Advanced, and Gemini 1.5 in Answering Total Knee Replacement–Related Questions)’이라는 제목으로 정형외과·스포츠의학 분야 SCIE 저널 ‘Orthopaedic Journal of Sports Medicine’ 2026년 1월호에 게재됐다.

연구팀은 구글 검색 경향과 정형외과 전문의 자문을 토대로 환자들이 무릎 인공관절수술 전후 자주 묻는 질문 43개를 선정했다. 질문은 ▲수술 개요와 과정 ▲수술 적응증과 결과 ▲부작용 및 합병증 ▲통증과 회복 과정 ▲수술 후 허용되는 활동 ▲수술 대안 및 변형 술기 등 6개 영역으로 구분됐다. ‘무릎 인공관절수술은 얼마나 걸리나요’, ‘수술 성공률은 어느 정도인가요’, ‘수술 후 주의해야 할 점은 무엇인가요’ 등 실제 환자들이 궁금해하는 질문들이 포함됐다.


연구팀은 동일한 질문을 GPT-3.5, GPT-4, GPT-4 Omni, Gemini Advanced, Gemini 1.5 등 5개의 대규모언어모델(LLM) 기반 AI 챗봇에 제시해 답변을 받은 뒤, 무릎 인공관절수술을 전문으로 하는 정형외과 전문의 두 명이 답변의 정확도와 질문 적합성을 평가했다. 평가는 5점 리커트 척도(1점 전혀 그렇지 않다~5점 매우 그렇다)를 사용했으며, 평가자는 어떤 AI 챗봇이 작성한 답변인지 모르는 상태에서 채점하는 블라인드 방식으로 진행됐다.

분석 결과 GPT-3.5, GPT-4, GPT-4 Omni, Gemini 1.5는 전체 질문에서 평균 4.8점 이상의 정확도를 기록했으며, 질문과의 관련성도 모두 100%로 평가됐다. 반면 Gemini Advanced는 평균 정확도 4.07점, 관련성 83.7%로 다른 챗봇보다 낮은 점수를 보였다. 일부 질문에서는 구체적인 답변 대신 전문의 상담을 권하는 안내가 제시되기도 했다. 연구팀은 이러한 경향이 잘못된 의료 정보를 제공하지 않기 위한 안전장치의 영향일 수 있다고 설명했다.

특히 수술 적응증과 수술 결과, 인공관절수술의 대안이나 변형 술기와 관련된 질문에서 챗봇 간 차이가 나타났다. GPT 계열 모델과 Gemini 1.5는 해당 영역에서 높은 점수를 기록한 반면 Gemini Advanced는 통계적으로 유의하게 낮은 점수를 보였다.

송시영 교수는 “이번 연구에서 최신 AI 챗봇들이 무릎 인공관절수술과 관련된 의학 정보를 상당히 정확하게 제공할 수 있음을 확인했다”며 “AI 챗봇의 응답은 2024년 8월 시점으로 평가됐으며, AI 모델의 빠른 발전 속도를 고려할 때 이후 버전에서는 성능 차이가 생길 수 있다”고 설명했다.

또한 송 교수는 “이번 연구를 통해 의사의 설명을 보완하는 환자 교육 도구로써 AI 챗봇의 잠재적 유용성을 확인했다”며 “임상 적용 가능성을 높이기 위해 AI 모델을 지속적으로 개선해야 한다”고 덧붙였다.