마이크로소프트, 의료 AI의 모의 진단 평가와 재현용 연구 도구 공개

진단 과제에서는 처음부터 환자의 모든 정보를 주지 않는다. 평가 대상 시스템은 짧은 증례 요약을 받고, 추가 질문을 할지 검사를 요청할지 진단을 내릴지 차례로 선택한다. 여러 역할을 맡은 AI가 가능한 진단과 필요한 검사를 검토하는 것이 MAI-DxO의 접근이다. 정확한 병명을 맞히는 것뿐 아니라 답에 이르는 과정이 연구 대상이 됐다. 연구 발표

평가 도구에는 진단을 담당하는 시스템 외에 정보를 제공하는 역할과 답을 채점하는 역할이 따로 있다. 환자 정보를 전달하는 AI인 게이트키퍼는 증례 원문에 검사 결과가 있으면 이를 사용하고, 없으면 그럴듯한 합성 결과를 만들어 응답한다. 따라서 전체 상호작용을 실제 환자의 진료 기록 그대로라고 볼 수 없다. 어떤 정보를 생성했는지도 재현성과 해석에 영향을 준다. 평가 도구의 구조

채점 역시 사람이 매번 최종 판정을 내리는 방식으로 설명돼 있지 않다. 공개 도구는 정답 진단과 제출 진단을 비교하는 평가 에이전트를 두고, 15점 중 45점을 맞은 진단으로 처리한다. 외부 연구자가 성능을 비교하려면 진단 모델만이 아니라 정보 제공자와 채점자의 설정을 함께 확인해야 한다. 점수는 이 평가 절차 안에서의 결과이기 때문이다.

이번에 등록된 미믹 IV 확장 데이터(MIMIC-IV-Ext-SDBench)는 응급실 방문 뒤 입원한 환자의 기록에서 만든 488개 증례로 구성된다. 학습용 163개, 검증용 254개, 임상의가 검토한 시험용 71개로 나뉜다. 신원을 제거한 퇴원 요약과 정답 진단을 포함하며, 이 자료의 게시일도 10월 22일이다. 병원 기록을 바탕으로 했지만 모든 응급실 환자의 분포를 그대로 대표하는 자료는 아니다. 데이터 원본 설명

공개된 평가 결과에는 검증용 254개와 시험용 71개가 쓰였고, 학습용 163개는 포함되지 않았다. 검증용 자료는 환자 정보를 전달하는 AI를 개발하는 데 사용됐지만 진단 AI 개발에는 쓰이지 않았다고 연구진은 설명한다. 또한 검사 비용은 미국의 표준화된 가격으로 추산했다. 실제 병원의 청구액이나 검사 대기시간, 치료의 안전성까지 측정한 결과는 아니다. 점수의 의미는 이 모의 진단 범위에 한정된다.

재현용 도구를 내려받는 것과 원래 평가에 사용한 모든 자료를 확보하는 것도 별개다. 에스디벤치 안내에 따르면 뉴잉글랜드 의학저널(NEJM) 증례에는 라이선스가 필요하고, 미믹 자료는 피지오넷(PhysioNet)의 자격 확인·교육·이용 동의를 요구한다. 저장소에 기본으로 포함된 완전 합성 증례 다섯 개는 개발과 동작 확인용이며, 진단 성능을 보고하는 자료로 쓰도록 제공한 것이 아니다.

회사는 베스 이스라엘 디커니스 메디컬 센터(Beth Israel Deaconess Medical Center)와 새로 협력해 실제 병원 환경에서 추론 능력을 평가할 계획이라고 밝혔다. 환자가 시스템과 직접 상호작용하고 의사의 독립 평가와 비교하는 연구를 예고했다. 모의 평가에서 어떤 질문을 잘 골랐는지와 실제 진료에서 도움이 되는지는 다음 검증 단계에서 연결해야 할 문제다.