Kafka 消费者

Kafka Consumer步骤可以从指定Kafka服务器提取数据。

组件图标

配置标签

设置

---

参数介绍:

| 字段 | 字段说明 | 样例值 | | --- | --- | | Kafka Pipeine | 下拉选择或单击浏览并选择路径，指定要执行的pipeline。-注意，这个子pipeline必须以记录注射组件开始 | | 引导服务器 | Kafka引导服务器地址 | | Topics | 管理Topic | | 消费组 | 输入希望该消费者成为其成员的组的名称。每个 Kafka 消费者转换将启动一个线程，用于消费。 |

---

批模式

---

参数介绍:

| 字段 | 字段说明 | 样例值 | | --- | --- | | 持续时间(ms) | 以毫秒为单位指定时间。该值是转换在执行pipeline之前收集记录的时间。如果设置为 "0"，则记录数会触发消耗。 | | | 记录数 | 指定一个数字。每'X'条记录后，指定的pipeline将被执行，并将这些'X'条记录传递给pipeline。如果设置为 "0"，则 "持续时间 "会触发消耗。 | | | 选择什么时候提交 | 自动提交Offset/批处理完成后提交 | |

字段

---

参数介绍:

字段	字段说明	样例值
输入名称	从kafka流中接受到的字段名称
输出名称	指定输出流的参数名称
类型	指定字段类型,String, Integer, Binary, Number等

---

结果字段

字段	字段说明	样例值
返回字段	从kafka流中接受到的字段名称

---

选项

---

参数介绍:

| 字段 | 字段说明 | 样例值 | | --- | --- | | 名称 | 属性名称 | | 值 | 值 |

---

案例

读取 kafka 中的消息并将数据写入到文本文件。 该案例由两个转换流构成，“转换一”将接收“转换二”传递的数据并写入到文本文件中，“转换二”使用 Kafka 消费者组件读取消息并将消息传递给“转换一”。

转换一的总体流程如下图所示：

转换一中各组件配置如下：

记录注射组件配置如下图所示：

文本文件输出组件配置如下图所示：

转换二的总体流程如下图所示：

转换二中各组件配置如下：

kafka消费者组件配置如下图所示：

• 未显示页面均为默认设置。

在转换二中运行，可看到该组件处于运行中，可以看到输出的文本文件中的结果。如果需要结束运行，点击“停止”图标即可。

• 运行中如下图所示：