组件介绍
**“评分和测试”(Test & Score)**控件根据输入数据进行模型训练及测试并对模型评分。
**“评分和测试”(Test & Score)**控件可以用来测试模型算法,支持使用不同的采样方案,包括使用单独的测试 数据。该控件包含两部分,首先,该控件会显示一个包含不同分类器性能指标的表格,其中性能指标包括分类精度和曲线下方的面积等。其次,该控件还会输出评估结果,供其它控件分析分类器的性能,如“Confusion Matrix”控件等。
- 输入:
- trndt:训练数据
- tstdt:测试数据
- lrn:一个或多个算法
- 输出:
- evr:评估结果,测试分类算法的结果
- data:预测结果
- prdt:模型评分结果
页面介绍
点击**“评分和测试”(Test & Score)**控件查看参数配置页面,如下图所示:
点击**“查看数据”**按钮,查看详细的模型评分:
参数选项
| 选项 | 说明 | 取值范围 | 样例值 |
|---|
| 抽样方法 | 控件支持多种抽 样方法:
交叉证认:将数据分成给定数量的折(子样本),通常是 5 或 10,并将一个单独的子样本保留作为验证模型的数据,其他 k-1 个样本用来训练。交叉验证重复 k 次,每个子样本验证一次,平均 k 次的结果最终得到一个单一估测。
随机抽样:按照给定的比例将数据随机分成训练集和测试集,并且可指定整个过程重复的次数。
留一策略:与交叉证认类似,但是它只使用原本样本中的一项来当做验证资料, 而剩余的则留下来当做训练集。这个步骤一直持续到每个样本都被当做一次验证资料。此方法稳定可靠,但是效率较低。
训练集中测试:使用整个数据集进行训练,然后进行测试。此方法实际应用中总会给出错误的结果。
测试集中测试:上述方法仅使用来自数据信号的数据。要使用测试示例输入另一个数据集(例如从文件或从控件中选择的某些数据),我们在通信通道中选择独立测试数据,然后选择测试数据测试。 | 控件支持多种抽样方法(单选):
交叉证认
折数:2/3/5/10/20
分层:勾选/不勾选
随机抽样
重复次数:2/3/5/10/20/50/100
训练集百分比:5%/10%/20%/25%/30%/33%/40%/50%/60%/66%/70%/75%/80%/90%/95%
分层:勾选/不勾选
留一策略
训练集中测试
测试集中测试 | 交叉证认
折数:2
分层:勾选 |
| 目标类 | 离散目标属性的取值 | 离散目标属性的取值 | 默认选中的值是离散目标属性取值的第一个 |
| 评估结果 | 计算性能统计信息 | | |