预测模型内部验证和外部验证数据集来自同一个中国数据库

预测模型的验证是模型发表和应用的必不可少的环节。模型验证的目的是评估模型的可重复性和可移植性，通常涉及内部和外部验证过程。

内部验证用的是模型开发时的数据集，主要关注可重复性。外部验证主要看可推广性（可移植性）。

内部验证主要包括随机分割法和重新采样技术，如交叉验证和自助法（bootstrapping）。
外部验证包括地理验证（或称空间验证，geographical validation）和时间验证（temporal validation）。

相较而言，外部验证的数据集更难获得，这是显而易见的！

内部验证的数据集要与模型构建的数据集是一样的，是一个数据集随机拆成两份，一份拿来验证；
而外部验证的数据集则是与模型构建数据集是不同的，这个不同可以是不同地域，不同领域，不同时间都是可以，根据您的研究目的，都可以应用。

今天老郑和诸位分享的这篇文章，用中国老牌数据库CHARLS构建机器学习预测模型，一个数据库同时搞定了预测模型内部验证和外部验证，一起看看如何实现的吧！

2025年2月21日，广东医科大学附属医院学者在期刊《Journal of Affective Disorders》（医学二区，IF=4.9）上发表了一篇题为：“A machine-learning-derived online prediction model for depression risk in COPD patients: A retrospective cohort study from CHARLS”的研究论文，旨在开发一个在线预测模型，以评估COPD患者抑郁症的风险，帮助医务人员及时进行干预。

本研究纳入了2018年中国健康与退休纵向研究（CHARLS）中的2921例COPD患者，为了防止过拟合和评估模型预测的泛化能力：

内部验证：研究者将样本随机分为训练集（70%）和测试集（30%），并在训练集上进行数据处理和模型构建。

时间外部验证：采用2013 CHARLS数据。

分析了36项行为、健康、心理和社会人口指标。使用LASSO回归（最小绝对收缩和选择算子）筛选出与抑郁风险相关的预测因素，从而减少模型的复杂性。

最终选择的特征包括：性别、自我感知的健康状况、关节炎、肾脏疾病、消化系统疾病、生活满意度、残疾、跌倒史、疼痛、ADL 评分和睡眠时间。

研究者应用六种机器学习模型，来确定预测COPD患者抑郁风险的最佳模型。包括：逻辑回归（Logistic Regression），支持向量机（Support Vector Machine），多层感知器（Multilayer Perceptron），LightGBM，XGBoost，随机森林（Random Forest）。通过网格搜索调整确定每个模型的最佳超参数配置。

研究结果显示，通过整合训练、测试和验证集中的每个预测模型，XGBoost展示了最熟练和最强大的预测性能，AUROC为0.811 (95% CI 0.790-0.829)，准确度为78.91%，灵敏度为77.31%，精确度为79.74%，特异性为80.51%，F1评分为78.50%。