「把柄（对于）OpenAI的最新论文赌钱平台，o1-preview在推理任务上远远优于大夫，以致一丈差九尺。AI对143项困难的NEJM CPC会诊恶果离别为约80%到30%。现时信托你的大夫而不商榷东谈主工智能模子是危机的。」

Deedy的言论引来百万围不雅。

事实究竟何如？

在处分复杂的信息学、数学和工程问题以及医疗问答方面，o1-preview模子泄暴露优于 GPT-4 的能力。

医疗决策远非问答，o1-preview在医学上是否已全面颠倒东谈主类？

哈佛、斯坦福、等机构的多名医学、AI人人联手，在医学推理任务中评估了OpenAI的o1-preview。

恶果泄露，模子在阔别会诊、会诊临床推理和料理推理方面，还是颠倒东谈主类；建议使用更好和更专诚念念的评估战略，跟上自动化系统在医疗推理基准上的跳跃。

著作推测要使用大讲话模子补助大夫， 需要集成AI系统的临床造就和劳能源（再）造就。

1

AI补助会诊器具评估

在医学顶刊《JAMA》、《JAMA·内科》和《NPJ·数字医学》，有论文已指出大讲话模子已在会诊基准测试中颠倒了东谈主类，包括医科学生、入院医师和主治医师。

这次，针对阔别会诊生成、推理敷陈、概率推理和料理推理任务， 调和团队评估了o1-preview的临床多步推理能力。

与大夫、已有的大讲话模子比较, o1-preview在阔别会诊以及会诊和料理推理的质量王人有显然造就。

1

阔别会诊

自20世纪50年代以来，评估阔别会诊生成器的紧要圭臬是《新英格兰医学杂志》（NEJM）发表的临床病理学会议（CPCs）病例。这是亦然评估o1-preview的第一个基准。

两位大夫同期评估o1-preview的阔别会诊质量，且在143个案例中有120个恶果一致。

o1-preview在阔别会诊中准确率高达78.3%（见图1）。

图1中的o1-preview的数据是基于在《新英格兰医学杂志》（NEJM）发表的临床病理学会议（CPCs）病例。其他大讲话模子或DDx生成器的数据是从文件中获取的。

o1-preview的建议的初度会诊的正确率为52%。

o1-preview在预造就截止日历前的准确率为79.8%，之后为73.5%， 莫得权臣互异。

表1展示了o1-preview不错处分而ChatGPT4无法处分的复杂案例。

表1：o1-preview正确会诊出GPT-4无法处分的三个复杂病例

表1中Bond Score的领域是从0到5, 其中5分示意阔别会诊列表中包含了正确的看法会诊， 而0分示意阔别会诊列表中莫得接近看法的选项。

o1-preview在88.6%的病例中得出了准确或相配接近准确的会诊恶果，而GPT-4唯一72.9%（见图 2A）。

两名大夫把柄CPC中边幅的患者本色救济情况，对o1-preview提倡的查验策划进行了评分， 共计132例，其中113例两东谈主的评分一致。

在87.5%的病例中，o1-preview选定了正确的查验名堂，另有11%的病例中，两位大夫觉得所选的查验决议是灵验的，唯一1.5%的病例觉得是没用的（图 3）。相关例子见表2。

图3：o1-preview在揣度下一步应进行的会诊测试方面的性能

在实验中两名大夫使用「毋庸（unhelpful）」、「灵验（helpful）」和「整个正确（exactly right）」的李克特量表对揣度恶果进行了测量。

并从一起病例中剔除了7个病例，因为这些病例条目进行下一次查验是不对理的。

表2：o1-preview 建议的测试策划与案例中使用的测试策划对比示例（傍边滑动稽查）

表2中案例得分为2分，标明测试比较好，与案例策划险些整个交流。1分示意所建议的会诊原本是有匡助的，或者不错通过病例中莫得使用的测试得出会诊恶果。0分示意所建议的会诊才能莫得匡助。

1

NEJM Healer会诊案例

为评估临床推理， NEJM Healer案例专门蓄意了编造患者遭逢。

两位大夫疏别评估o1-preview的临床推理质量，在80个案例中，有79个案例兑现了一致（约占99%）。

在80个案例中，o1-preview在78个案例中达到了完好的R-IDEA评分， 其剖析远超GPT-4、主治医师和入院医师，如图4A所示。

图4：图A示意在20个NEJM Healer案例中，把柄回答者分层的312个R-IDEA评分散播。图B示意初诊敷陈（ initial triage presentation）中包含的不成遗漏会诊的比例的箱线图

图B中的总样本量为70，其中包括来自主治医师、GPT-4和o1-preview的18个回答，以及来自入院医师的16个回答。

o1-preview在初诊敷陈（ initial triage presentation）中识别“不成错过”的会诊的比例见图4B，包含「不成错过」的会诊的中位数比例为0.92，与GPT-4、主治医师或入院医师莫得权臣互异。

1

灰质地理案例

在真确案例基础上，25位大浑家人诈欺共鸣才能建造了5个临床实例(clinical vignettes)。

测试中先将临床实例呈现给模子，然后向其提倡对于下一步料理的一系列问题。

两位大夫对o1-preview的五个案例的恢复进行了评分，一致性十分大。

o1-preview每个案例的中位数评分为86%（图5A），优于GPT-4、使用GPT-4的大夫和使用传统资源的大夫。

图5：图A示意大讲话模子和大夫的料理推理得分的圭臬化箱线图。图B示意模子和大夫会诊推理得分的圭臬化箱线图

图A共包括五个案例。o1-preview为每个案例生成一个响应，GPT-4为每个案例生成五个响应，使用GPT-4的大夫总有176个响应，使用传统资源的大夫总有199个响应。

使用夹杂效应模子意象，o1-preview比单独的GPT-4高出41.6%，比使用GPT-4的大夫高出42.5%，比使用传统资源的大夫高出49.0%。

1

记号性会诊案例

两位内科大夫对o1-preview在六个会诊推理案例中的回答进行了评分，评价恶果较为一致。o1-preview的中位数评分为97% （图5B）。

与历史扬弃数据比较，比GPT-4的得分为92%，使用GPT-4的医师得分为76% ，而使用传统资源的医师为74%。

使用夹杂效应模子意象，o1-preview与GPT-4比较剖析十分（高出4.4%），比使用GPT-4的医师高18.6%，比使用传统资源的医师高20.2%。

1

会诊概率推理案例

在会诊概率推理中， 总使用了五个低级保健主题的案例。

以科学参考概率（scientific reference probabilities）为基准，比较了o1-preview，GPT-4和东谈主类的概率推理能力。

其中东谈主类由553名具有寰宇代表性的医疗从业者构成， 包括290名入院医师、202名主治医师和61名看管或大夫助理。

如图6和表3所示，在概率推理方面， 不管在测试前照旧在测试后o1-preview与GPT-4剖析差未几。

唯一的压力测试中，o1-preview的揣度密度比模子和东谈主类更接近参考领域。

1

接洽的局限性

此接洽也有四处主要的局限性。 领先，o1-preview有啰嗦的倾向，可能会在造就中取得更高得分。

其次，现时的接洽只反应了模子性能， 但践诺中离不开东谈主机交互。东谈主机交互对建造临床决策补助器具至关可贵， 下一步应该敬佩大讲话模子（比如o1-preview）能否增强东谈主机交互。

但东谈主类与计较机之间的交互概况是不可揣度的，以致剖析考究的模子与东谈主类交互中可能出现退化。

第三，接洽只检会了临床推理的五个方面；但还是发现了几十个其他任务，它们可能对本色的临床看管有更大影响。

第四，接洽案例纠合在内科，但并不代表更简单的医疗实行，包括多个亚专科，这些专科需要各式手段，如外科决策。接洽也莫得研究会诊、患者特征或就医地方的互异。

参考云尔：

https://arxiv.org/pdf/2412.10849

https://x.com/deedydas/status/1869049071346102729