各位老师好！通过前面学习我们已经了解到如何对模型的区分度（回忆戳这里）和校准度进行评价（回忆戳这里），但这两类指标并不能为实际临床决策提供参考。今天我们终于来到了临床预测模型评价的最后一块拼图——“临床效用”，这部分内容有点难懂，要认真看哦。内容包括以下几部分：

1 决策曲线的原理和作用

2 决策曲线结果解读

3 文献实例

1  决策曲线的作用

医生进行临床决策时，除了模型预测的风险概率，还需要考虑多方面因素，比如临床医生自身经验、疾病治疗的有效性、并发症的可能性和严重程度、以及患者接受治疗风险和负担的意愿等。目前在临床决策中对预测模型进行评价时，区分度AUC只关注模型准确性，没有关注实际应用这个预测模型所导致的后果。临床效用（Clinical utility）指该模型实际应用于临床所取得的收益，可以理解为当医生将该模型作为是否对病人施加干预的判断依据时，干预带来的收益（对真阳性干预的收益）减去损失（对假阳性错误/过度干预的损失）的净获益（Net benefit）。

举个例子，前列腺癌患者有肿瘤侵袭精囊的风险，因此做前列腺癌根治术时需要考虑要不要同时切除精囊。如果切除了可能会给患者带来失禁、性功能障碍等问题，而如果不切除，若肿瘤已经侵袭精囊，那就会带来复发的风险，极大影响患者的生存期。切还是不切？无论做哪种选择，都有可能带来危害，那此时就需要权衡一下。对于要不要切除精囊，医生认为复发带来的危害是比精囊切除并发症带来的危害大，只要模型预测发生精囊侵袭风险＞30%，医生认为切除的收益＞切除并发症的损失，会果断选择切除精囊；但如果患者希望尽量保留精囊，由于患者主观意愿使得切除的损失值增大，那么精囊侵袭风险增大为50%以上时医生才会选择切除；但如果患者无论如何都不想切除，此时模型计算的侵袭风险就不再影响临床决策了，临床效用就为0。所以为了体现诸多因素对医生决策产生的影响，引入概率阈值（Threshold probability）概念，只有当模型预测风险概率＞概率阈值，才会对患者进行干预。

而概率阈值会受到干预效果以及患者和医生对干预信任度的综合影响，是个变化的值，所以需要工具帮助判断哪一个阈值概率范围内的病人进行治疗会获得大于0的临床收益及对应的程度，满足临床决策的实际需要，决策曲线分析（DCA, decision curve analysis）就应运而生啦！

2决策曲线结果解读

下图中红色线为决策曲线，是根据logistic模型预测结果进行干预带来的净获益率随概率阈值的变化值，其中概率阈值为横坐标，净获益率为纵坐标，而底部黑色横线None代表全都不进行治疗的0净获益率，灰色曲线All代表全部进行治疗的净获益率随概率阈值的变化值。在一定范围内，模型的净获益率越高其临床效用越大。

图1 校准曲线示例图

为了便于大家更好理解净获益率的计算方式，来看看决策曲线的发明者Vickers是如何思考的吧！

首先设计几个参数：

P：真阳性患者施加干预的收益值；

L：给假阳性患者施加干预的损失值；

Pt：概率阈值

Pi：阳性者实际患病概率，当Pi > Pt时为阳性，给予干预。

那Pt如何得来呢？较为合理的干预的时机是，当且仅当Pi × P >(1 – Pi) × L，即预期的收益高于预期的损失。推导一下可得，Pi > L / ( P + L )即为合理的干预时机，于是把L / ( P + L )定义为Pi的阈值，即Pt。

对于是否患病这类二分类结局，我们还是用之前在混淆矩阵（点击查看详情）学到的定义，真阳性、假阳性、假阴性、真阴性，那么可得：

当Pi ＞ Pt，模型会判断其为应该施加干预的患者（阳性），那么实际上既有真阳性，也有假阳性；

当Pi ≤ Pt，模型会判断其为不应该施加干预的非患者（阴性），那么实际上既有真阴性，也有假阴性；

我们以真阳性%表示真阳性者占所有样本中的比例，依次类推可得：真阳性%+假阳性%+真阴性%+假阴性%=1。实际患病率=真阳性%+假阴性%。若是所有Pi ＞ Pt都进行干预，那么净收益率=真阳性% × P – 假阳性% × L，但此公式中的P和L的确切值并没有什么实际意义，Vickers更关心L/P的比值，所以将上面的公式除以P，变成净收益率 = 真阳性% – 假阳性% × L/P。根据Pt定义公式Pt = L / ( P + L )可推导出：净收益率 = 真阳性% – 假阳性% × Pt / ( 1 – Pt )。公式扩展来看就是：

那么以Pt为横坐标，净收益率为纵坐标，画出来的曲线就是决策曲线。图中两条极端情况下的曲线分别为当所有样本都是阴性（Pi ≤ Pt），所有人都没干预，那么真阳性和假阳性人数都为0，所以净收益率为0，可见图1的None曲线；当所有样本都是阳性（Pi ＞ Pt），所有人都接受干预，那么真阴性和假阴性人数都为0，可以认为此时的真阳性%和假阳性%等于样本实际的患病率和非患病率，则净收益率 =实际患病率– ( 1 –实际患病率)Pt / ( 1 – Pt )，所以它是斜率为负值的曲线，可见图1的All曲线。

经历过跟Vickers一样的思考过程后，相信大家对决策曲线的印象更深刻啦！不过虽然概念很难理解，但一定要掌握如何应用和描述呀！接下来我们看看文章中怎么做的吧~

3文献实例

这篇于2019年发表于杂志Crit Care（IF 15.1）的文章“Emergency department triage prediction of clinical outcomes using machine learning models”使用急诊科收集的成人患者就诊变量（1135,470例成人）对住院预后和重症监护结果进行预测，比较了两种模型：机器学习算法开发的新模型vs传统的判定方法——紧急严重程度指数，发现机器学习模型不仅AUC值比传统方法高，并且DCA曲线表明在整个阈值范围内，不同机器学习算法构建的模型净获益均超过传统模型，这说明机器学习建模相比传统模型更加具有临床价值。

图2 校准曲线案例一

另一篇2023年发表于J Clin Oncol（IF 45.3）的文章“A Two-Step Frailty Assessment Strategy in Older Patients With Solid Tumors: A Decision Curve Analysis”中提到，对老年患者进行老年评估（Geriatiric assessment，GA），有助于指导治疗方案选择以及预测死亡率和化疗副作用。但GA即耗资源又耗时间，所以建议两步走策略——先进行简便的虚弱筛查，筛查阳性者再进行GA评分。第一步的筛查问卷有两种——G8老年筛查工具（简称G8）和优化后的G8，二者都具有高灵敏度和可接受的特异度，但尚不知道采取这种策略的风险和收益。所以作者利用DCA比较了G8、优化后G8虚弱筛选工具的临床收益与GA-for-all（对所有老年患者进行GA）的临床收益，如下图所示：

图3 校准曲线案例二

最上方的深蓝色曲线指对所有老年患者进行GA带来的临床获益，该曲线在很大的概率阈值范围内都要高于G8和优化后的G8带来的临床收益。说明尽管衰弱筛查具有良好的诊断准确性，但与GA-for-all策略相比没有临床益处！所以新策略的临床效用还不如耗资源又耗时间的GA-for-all！该研究结果强有力说明了临床价值评估的必要性。此外，这张图还在横坐标阈值概率引入Odds，指成本：效益比，这里Odds=Pt/（1-Pt）,在概率阈值为0.25的位置时的成本：效益=0.25：0.75=1：3。

到这里大家应给能够发现，临床效用与区分度和校准度一样，都是模型评价的重要指标，但它更加注重模型的实际应用价值。通过了这三个方面的全面考验。才能称之为好的临床模型。顺便提一句啊，在我们谱度众合的临床报告中，决策曲线DCA是建模分析的重要结果，我们的临床模型做到了区分度、校准度、临床效用评估缺一不可！这也符合我们一直以来对于科学严谨的临床科研服务的追求。

相信大家经过对模型评估的完整学习后已经迫不及待想要建个模型试试看了，那么下一期将满足大家的愿望，从logistic回归建模到模型评估实操以及列线图的生成进行全流程讲解~敬请期待！更多科研干预，锁定谱度众合~

4  参考文献

[1]Vickers AJ, Elkin EB. Decision curve analysis: a novel method for evaluating prediction models. Med Decis Making. 2006 Nov-Dec;26(6):565-74.

[2]Raita Y, Goto T, Faridi MK, Brown DFM, Camargo CA Jr, Hasegawa K. Emergency department triage prediction of clinical outcomes using machine learning models.Crit Care. 2019 Feb 22;23(1):64.

[3]González Serrano A,Laurent M,Barnay T, et al. A Two-Step Frailty Assessment Strategy in Older Patients With Solid Tumors: A Decision Curve Analysis. J Clin Oncol. 2023;41 (4):826-834.