现在应该没人不知道ChatGPT吧?就算没有用过,也应该听过。
图源百度
作为一个大型的自然语言模型,ChatGPT在语言生成和响应方面有着天然的优势。简单来说,我们可以利用它来润色文章,阅读文献。但最新发表的一篇文章却利用ChatGPT构建了一个新型临床预测模型,发文一区(IF=4.1)!
接下来本文将对这篇文章进行简单介绍。
文章介绍
2024年5月31日,外国研究团队在期刊《American Journal of Ophthalmology》(医学一区top,IF=4.1)发表了一篇题为:“Predicting glaucoma before onset using a large language model chatbot Xylitol is prothrombotic and associated with cardiovascular risk ”的研究论文,旨在探索大型语言模型ChatGPT在预测从高眼压症(OHT)发展为青光眼方面的能力。
怎么用ChatGPT发一区
什么是青光眼?作为一种以病理性眼压升高,引起视神经萎缩和视野缺损为共同特征的眼睛疾病,青光眼有5%~20%左右的概率会导致患者失明。预防青光眼的关键就是早发现早治疗,但目前的诊断和预测手段仍存在局限性,不能做出更准确地判断。
在探索青光眼发展预测模型的过程中,不少研究已经利用人工智能(AI)和深度学习(DL)取得了可喜的成果。但这些模型的运行需要特殊的条件,并不适宜大范围开展。而在过去几个月,更新后更稳定、速度更快的ChatGPT4.0一直处于话题的中心。
既然人工智能(AI)可以纳入预测模型,那么将性能更稳定的ChatGPT4.0纳入预测模型,会不会有更好的结果?
基于先前的结果,研究团队开展了这项研究。
该项研究通过回顾性病例对照研究设计,纳入了OHTS(高眼压症治疗研究)数据集中1504名受试者的3008只眼睛,并收集了受试者在青光眼发病前一年内的相关参数。
相关参数包括:青光眼发生前一年的人口统计学、临床、眼部、视神经头和视野(VF)参数。
根据青光眼视神经病变(GON)或VF异常(校正模式标准差<0.05或青光眼半视野测试超出正常范围)的任何体征标记为原发性开角型青光眼(POAG),以先满足的标准为准。
所有的眼睛在青光眼发病前被标记为“POAG未转化”或“POAG转化”。最后,如果受试者至少有一只眼睛被标记为POAG,则被标记为“转换POAG”,否则被标记为“未转换POAG”。
随后,基于所有参与者的双眼将表格参数转换为文本格式来开发查询,并通过ChatGPT接口自动进行预测。
主要评价指标:准确性、ROC曲线下面积(AUC)、敏感性、特异性和加权F1得分。
ChatGPT有一定的预测效果
在后续开展的试验中,研究团队发现ChatGPT在预测青光眼发病方面展现出较好的性能,其中ChatGPT4.0的预测性能优于ChatGPT3.5。
具体来说,ChatGPT4.0在预测青光眼发病前一年的准确性为75%,AUC为0.67,敏感性为56%,特异性为78%,加权F1得分为0.77;
相比之下,ChatGPT3.5的表现较差,其准确性为61%,AUC为0.62,敏感性为64%,特异性为59%,加权F1得分为0.63。
ChatGPT能取代医生吗?
本文的创新点显而易见,首次将ChatGPT应用于疾病的预测,展现其在医学领域强大的潜力。同时,由于ChatGPT具有强大的学习能力,可以通过整合现有青光眼数据集的多种模式,对ChatGPT进行训练,开发青光眼领域特定的聊天机器人,以期得到更准确地预测结果。
但是这篇文章的结果嘛,就马马虎虎了,AUC面积也不大,没有一般应用临床的0.70以上,GPT 4.0还凑合。
但随着更多复杂大模型的介入,比如GPT4o 或者后面GPT5的问世,也许效果会更好、
不过问题来了,它能应用吗?
从预测模型角度来说,它很难做到可视化,也很难变成一个工具或者一个临床模型。
不过从患者角度,自我诊断与预判的角度,具有一定的用途,至于从医护角度,在临床应用上,还远着呢。当然,今后就难说了
ChatGPT刚更新的时候,各行各业的人都在担心自己的工作被取代。但老郑我想说的是,能取代你的从来不是ChatGPT,而是会用ChatGPT的人!