人工智能竟通过美国医学执照考试

成功通过医学考试的合格分数,通常需要多年的医学培训,而人工智能ChatGPT却做到了。

根据期刊PLOS 数字健康发表的一项研究显示,人工智能 ChatGPT 能够达到或接近美国医学执照考试(USMLE)约60%的通过门槛,而且其回答具有连贯性、内在意义,并包含频繁的见解。

ChatGPT是伊隆·马斯克的人工智能公司 OpenAI 所开发的聊天机器人系统,也称为大型语言模型(LLM),可通过连续问答来产生连贯的回应,预测单词序列,并生成接近人类写作的内容。与大多数聊天机器人不同的是,ChatGPT不能搜索互联网,而是使用内部程序预测的单词关系来生成文本。(不得不说,马斯克可真厉害,做什么都能成为业界龙头)

研究主笔者Kung和同事们测试了ChatGPT在USMLE考试中的表现,USMLE是一个高度标准化和规范化的系列考试,是美国执业医生必须拥有的医学执照。由医科学生和在职医生参加的USMLE评估知识横跨大多数医学学科,从生物化学、诊断推理到生物伦理学。

作者将2022年6月之前公开的USMLE的376个历史考题中,选了350个题目给人工智能进行测试。

在去除不确定的回答后,ChatGPT在三次USMLE考试中的得分在52.4%和75.0%之间。每年的通过门槛约为60%。ChatGPT还在所有的回答中表现出94.6%的一致性,并在88.9%的回答中产生了至少一个重要的见解(新的、非常见的、在临床上有效的内容)。值得注意的是,ChatGPT超过了PubMedGPT的表现,PubMedGPT是一个专门针对生物医学领域文献进行训练的对应模型,它在USMLE式历史考题数据集上的得分是50.8%。

虽然相对较小的测试规模限制了分析的深度和范围,但作者指出,他们的发现让大众看到了ChatGPT在提高医学教育以及最终在临床实践方面的潜力。例如,有临床医生已经开始使用ChatGPT将专业术语较多的报告改写为更易于病人理解的白话版本。

作者表示:”人工智能在没有任何人类强化的情况下达到考试的合格分数,标志着临床人工智能成熟的一个里程碑。

Comments