返回行业动态
研究前沿

推理模型诊断更准、误报也更多:Nature 子刊给出 15 名医生对照结果

10 月 29 日《Nature Communications》发表的一项研究显示,大型推理模型在临床诊断中主要诊断更准确、鉴别诊断更贴合临床,但假阳性诊断比同源普通模型多出 34% 以上,可复现性低约 40%。研究基于真实电子病历构建 AIMS-LDR 基准,覆盖 6 组配对模型与 12 个专科;在 15 名医生的验证中,推理模型扩大覆盖、医生核验可靠性的协作模式使准确率提升 20%、假阳性下降 44%。

来源:Nature Communications:大型推理模型在临床诊断中的准确性—安全性权衡原标题:The accuracy-safety trade-off of large reasoning models in clinical diagnostics查看原文
夜间医院影像科室走廊中悬浮一条金色光带构成的分叉路径,一条稳定通向远处、另一条末端碎裂为漂浮光点

图片来源:北京拓实科技原创(AI 生成封面)

研究做了什么

10 月 29 日,《Nature Communications》刊出一项由香港大学、清华大学与哈佛医学院等机构研究者共同完成的工作。团队构建了 AIMS-LDR——一个基于真实电子病历的长上下文诊断推理基准,覆盖 6 组同源模型配对(同一底座的不同版本)与 12 个临床专科,用于回答一个此前缺少量化答案的问题:让模型「多想一会儿」,到底换来了什么,又付出了什么。

结论不是单向的。推理模型(LRM)给出的主要诊断更准确,鉴别诊断也更贴近临床相关性;但同一次推理同时抬高了过度诊断——假阳性诊断比对应的普通模型多出 34% 以上,且可复现性低约 40%,即同一病例多次运行的结论更不稳定。作者称这一权衡在多种提示设计、模型超参数与评测范式下都能复现,不是调参能消掉的偶发现象。

协作模式的效果

  • 结构化协作:由推理模型扩大诊断覆盖面、由医生核验可靠性,在 15 名医生参与的验证中把诊断准确率提高 20%,假阳性降低 44%。
  • 数据来源:MIMIC-IV 与 eICU 等去标识化公开临床数据集,属回顾性、受控条件。
  • 实验设计:模型配对来源于同一底座的不同推理强度版本,避免把厂商差异混进结论。
  • 作者立场:明确写明需前瞻性验证后才可进入临床部署,当前结果不支持直接替代医生判断。

对企业与医院信息化的含义

这项研究给出的实践口径是「分工而非替代」:推理模型适合用来扩大候选诊断的覆盖面、减少漏诊,但把最终判断与假阳性过滤留给有核验依据的人。对正在评估临床决策支持系统的机构,有两个直接可用的检查项:一是要求供应商提供假阳性率与可复现性指标,而不只是诊断准确率;二是在工作流里保留「证据定位」环节,让医生能看到结论对应的病历片段,否则准确率提升会被额外的人工复核成本吃掉。研究也提示,评测基准本身要贴近真实病历长度与专科分布,短文本问答上的领先不必然迁移到长病历。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。

推理模型临床诊断:准确率更高但假阳性多 34%|北京拓实科技