通过代码处理数据
案例说明
在处理真实数据集时,虽然数据集成中有许多组件能够完成相应的功能,但是在实际处理数据的时候,也还会存在组件无法满足需求的情况。此时可以通过JavaScript 代码组件,编写 JS 代码来处理数据。假设你决定要投资一些钱用来买房,你找到一个售楼代理,并且售楼代理给了你一份房产信息,信息如下:
...
Property Code: MCX-011
Status: Active
5 bedrooms
5 baths
Style: Contemporary
Basement
Laundry room
Fireplace
2 car garage
Central air conditioning
More Features: Attic, Clothes dryer, Clothes washer, Dishwasher
Property Code: MCX-012
4 bedrooms
3 baths
Fireplace
Attached parking
More Features: Alarm System, Eat-in Kitchen, Powder Room
Property Code: MCX-013
3 bedrooms
...
你想比较它们之间的差异,但是你发现这很难做到,因为文件没有精确的结构。使用JavaScript 代码步骤,这将有助于你给文件设置一定的结构。
通过“JavaScript 代码”组件处理数据
- 从“输入”中拖入CSV 文件输入组件,配置完成后预览数据,结果如下图所示:
- 在“脚本”中拖入两个JavaScript 代码组件,依次连接步骤。将第一个JavaScript 代码命名为add prop_code,配置如下图所示:
- 将第二个JavaScript 代码命名为remove ‘null’ data,配置如下图所示:
- 拖入字段选择组件并连接上一步骤,将字段选择命名为select text,prop_code,配置如下图所示:
- 拖入两个JavaScript 代码组件,依次连接步骤。将第三个JavaScript 代码命名为remove ‘Property Code’ : MCX,配置如下图所示:
- 将第四个JavaScript 代码命名为set the mask,在文本框中输入如下代码: script.txt
然后在最下面的文本框中,右击并选择获取变量,如下图所示:
- 拖入字段选择组件,连接上一步骤,配置如下图所示:
- 完整的转换视图如下图所示:
- 运行转换,结果如下图所示:
- 选择remove text,预览数据,结果如下图所示: