预测晚期实体瘤患者6个月死亡的机器学习模型的外部验证

编译 | 曾全晨

审稿 | 王建民

今天为大家介绍的是来自Catherine J. Staes团队的一篇论文。机器学习（ML）为基础的预测已经显示出在严重疾病检测方面的潜力。为了在治疗决策点（TDPs）上促进从业者与晚期癌症患者之间的有效交流，作者开发并验证了一个ML模型，该模型将患者分类为在启动新一轮治疗（LOT）时在接下来的6个月内存活的机会较低或可能较高。这个独特的模型使用了从电子健康记录（EHR）数据中提取的45个特征，这些特征可以使用Fast Healthcare Interoperability Resources 标准来实施，支持跨卫生系统的可解释性和互操作性。在临床部署之前，对ML模型进行外部验证对于确保其可信度至关重要，但很少有报告提到。因此，作者的目标是在最近的患者数据上对该模型进行外部验证。

实验过程

在这个预测性研究中，作者使用从2022年10月12日从犹他大学健康企业数据仓库中提取的EHR数据进行了外部验证。回顾性队列的识别、TDP提取和ML模型的详细信息在请见作者前作（Chalkidis G, McPherson J, Beck A, Newman M, Yui S, Staes C. Development of a machine learning model using limited features to predict 6-month mortality at treatment decision points for patients with advanced solid tumors. JCO Clin Cancer Inform. 2022;6:e2100163. doi:10.1200/CCI.21.00163）。ML模型最初是在2014年6月1日至2020年6月1日期间的TDP上进行训练的。它在2020年6月2日至2022年4月12日期间新识别的TDP上进行了评估。该研究获得了犹他大学机构审查委员会的批准，因为使用了回顾性数据，因此获得了知情同意的豁免。作者使用曲线下面积（AUC）来评估模型性能，并确定了在预定风险阈值为0.3的情况下的阳性预测值、阴性预测值、敏感性和特异性，以使被分类为存活率低的患者中的大约三分之一在6个月后仍然存活，与临床专家的看法一致。

实验结果

表 1

表 2

共有1822名患者经历了2613个治疗决策点（表1）。开发组（n = 4192）和验证组（n = 1822）的数据集相似，只是验证组的患者年龄较小（平均[标准差]年龄，60.4 [13.8] vs 59.1 [14.5]岁），肺癌患者比例较低（477 [11.4%] vs 144 [7.9%]），而脑和神经系统癌症患者比例较高（241 [5.7%] vs 178 [9.8%]）。在TDP后的6个月内，两组患者的死亡率没有显著差异。

该模型在验证数据上表现良好，AUC为0.80，位于开发阶段建立的95% CI之内（表2）。有8.7%的治疗决策点被识别为存活机会较低。在被预测为存活机会较低并在开始新LOT后6个月内死亡的130名患者的146个治疗决策点中，有24个（16.4%）接受了临终关怀，72个（49.3%）接受了疼痛缓解治疗，94个（64.4%）住院（9 天）。

结论

研究结果支持了需要一种工具来促进患者和从业者在考虑新的抗癌疗法时进行严肃的疾病对话。与开发阶段的结果类似，ML模型在新的最近数据上表现出良好的预测性能。尽管该研究仅使用了单一中心的数据，并且缺乏种族和民族多样性，但这一分析在将预测性分析应用于肿瘤学护理之前是关键的质量检查。需要在多个卫生系统中进一步评估其有效性。

参考资料

Chalkidis, G., McPherson, J. P., Beck, A., Newman, M. G., Guo, J. W., Sloss, E. A., & Staes, C. J. (2023). External Validation of a Machine Learning Model to Predict 6-Month Mortality for Patients With Advanced Solid Tumors. JAMA Network Open, 6(8), e2327193-e2327193.