R语言实用的机器学习

代码战斗

附录

目录

基础知识4模型评估

4模型评估

建立模型时，每个人都更关心的问题是我的模型表现良好。目前，必须使用各种指标进行评估，这就是每个人都称之为测量模型性能的方法。在与医学相关的文献中，您看到的最常见指标是ROC曲线下的区域，即AUC。

对于不同的数据类型，所使用的评估指标不同，而它们测量的重点也不同于不同的评估指标。例如，回归模型中的两个常用指标是均方根误差（RMSE）和确定系数（也称为R2）。 RMSE测量模型的准确性，而R2测量相关性。如果是分类模型，则不能使用这两个指标。

4.1回归任务评估

如果您的数据是回归任务，也就是说，数据的结果变量是数值的，则常用的模型评估指标如下：

任何称为XXX误差的指示灯通常意味着模型越小，越好。

选择适当的评估指标取决于特定的应用程序方案，数据特征和分析目的。例如，在某些领域（例如财务或库存管理）中，MAPE可能更关注，因为它提供了有关预测错误与实际价值的比例的信息。在其他情况下，R²或调整后的R²可能更适合评估模型的整体解释能力。

4.2分类任务评估

4.2.1一般指标

如果您的数据是一项分类任务，也就是说，数据的结果变量是分类的，则常用的模型评估指标如下：

使用图来总结混淆矩阵和结果（来自）的各种指标：

混淆矩阵

4.2.2临床预测模型

临床预测模型实际上只是机器学习在临床医学中的一种形式。当然，除了上面的常规指标外，该领域还有其他一些评估方法。

通常，临床预测模型的评估可以分为4个部分：

区分是指模型正确将人口划分为患者/非患者的能力，或者正确区分个人是处于低风险还是高风险，或正确预测患者是否活着还是死亡，等等。混淆矩阵和从此计算得出的各种指标是对区别的评估。

但是，对于模型具有良好的区别是不够的，因为临床非常复杂，不仅需要正确分类。对于不同的患者，他们可能处于高危人群中，但风险为50％和80％的风险，我们的治疗方法不同！

这导致了校准的概念，它指的是结果的实际发生概率与模型预测的概率之间的一致性。因此，校准也称为拟合的一致性和良好性（ - 拟合）。校准反映了预测绝对风险的模型的准确性。校准度的评估主要是通过校准曲线在文献中实现的，但是 - 和原木损失也用于评估校准度。

临床适用性的评估主要是通过决策曲线实现的。该模型的改进主要是评估与旧模型相比，新模型的改进程度，并且有必要比较绘制模型的模型。

有关临床预测模型评估的更详细的内容，请参阅一篇文章中的临床预测模型的评估

4.3计算方法

在实际使用中，我们不需要知道特定的计算方法，我们只需要它们的含义，因为计算仅需要1行代码来实现它。

尽管不同R软件包的建模语法是不同的，但是在计算模型评估指标时，代码逻辑和使用语法高度一致。

无论是回归任务还是分类任务，计算各种指标时都需要实际结果和预测结果。使用格式通常是以下格式：

# 计算RMSE
rmse(data, 真实结果, 预测结果)
# 或者
rmse(真实结果, 预测结果)

# 计算准确率
accuracy(data, 真实结果, 预测结果)
# 或者
accuracy(真实结果, 预测结果)

如果要计算其他指标，只需更改相应的函数（出于演示目的，特定函数名称可能会有所不同）。

请注意分类任务的评估指标，因为分类任务的某些计算需要真实的类别和预测类别，例如混乱矩阵，灵敏度，特异性以及某些需要真实的类别和预测概率，例如ROC曲线，例如ROC曲线，这需要提供您想要的任何东西，您不能随机写入。

评论

由于模型评估指标的计算（和图形）语法基本上是相同的，因此您需要的只是预测结果和实际结果。为了避免毫无意义的重复，在每种算法中并未证明它，例如校准：校准曲线和决策曲线仅在KNN和。

4.4摘要

不同的任务类型需要不同的指标，并且在不同情况下，不同的指标也不同。您需要根据自己的实际情况灵活选择。有时，您可能想误以为杀死而不是放手，但有时您可能想放手。您不能错误地杀死，因此您不能随意选择指标，必须遵循自己的情况。

3数据部

5个高参数调整“> 5个高参数调谐