去重

组件介绍

“去重”（Unique） 控件可用于进行去重操作。

“去重”（Unique） 控件根据分组后的结果去除重复数据（该数据所在的行将会删除），当不指定分组属性时会针对整个数据集中重复数据进行去重操作，在去重操作时可以指定是否删除全部的重复数据或保留第一行或最后一行的重复数据。

---

• 输入：
  • data：数据集
• 输出：
  • data：处理后的数据集

---

页面介绍

点击 “去重”（Unique） 控件查看参数配置页面，如下图所示：

警告

获取属性信息的逻辑如下：

1. 优先解析直接上游组件的输出结果，需要您先将上游组件运行成功
2. 如1不满足，将会追溯源头的File、SQL Table等加载数据的属性信息

若属性信息获取错误，可通过重置控件重新获取。

参数选项

选项	说明	取值范围	样例值
分组属性	选择分组属性，可以不选择，也可多选	数据集属性	iris
去重配置	去重后是否保留数据，保留哪一条数据：   Last instance：重复数据的最后一条   First instance：重复数据的第一条   Drop：删除重复数据	Last instance First instance Drop	Last instance

使用案例

在下图所示的案例中，使用 “加载文件”（File） 控件加载数据，通过 “查看数据”（Data Table） 控件查看加载数据的信息，同时使用 “去重”（Unique） 控件对数据集进行去重操作，之后通过 “查看数据”（Data Table） 控件查看处理后的数据集。

案例中加载 iris 数据集，其余控件使用默认参数配置。案例中控件的配置以及执行结果如下图所示。