数据清洗转换
在特定字段上设置数据转换脚本，任务运行时自动调用脚本，并对相应的字段值进行计算，达到数据清洗和转换的目的。
当前功能对全量迁移、增量同步、数据校验和数据订正均有效。
脚本格式
e.g.,
return @fun.str.maskAfter(#{col},'-')
- 以上述脚本为例
return即处理完毕后返回结果fun指模块，当前固定str代表字符串类型的转换方法maskAfter转换方法名称#{col}处理名字为col的字段值'-'为方法参数，可更换，在maskAfter方法中的意思是将字段col的值-字符之后的字符串都遮掩
当前支持的脚本
| 脚本 | 说明 |
|---|---|
| return @fun.str.trim(#{col},' ') | 去掉字符串前后的空格 |
| return @fun.str.trimEnd(#{col},' ') | 去掉字符串结尾的空格 |
| return @fun.str.trimStart(#{col},' ')" | 去掉字符串头部的空格 |
| return @fun.str.upperCase(#{col}) | 将字符串转大写 |
| return @fun.str.lowerCase(#{col}) | 将字符串转小写 |
| return @fun.str.subStringAfter(#{col},'-') | 截取'-'字符之后字符串 |
| return @fun.str.subStringBefore(#{col},'-') | 截取'-'字符之前字符串 |
| return @fun.str.maskAfter(#{col},'-') | 遮掩'-'字符之后的字符串，默认使用 * |
| return @fun.str.maskBefore(#{col},'@') | 遮掩'@'字符之前的字符串，默认使用 * |
| return @fun.str.maskBetweenIdx(#{col},2,8) | 遮掩 2 ~ 8 序号之间的字符串，序号从 0 开始, 开始位置包含, 结束位置排除 |
| return @fun.str.stringFormat(#{col},'prefix_%s_suffix') | 使用指定表达式格式化列的值 |
操作说明
功能入口
- 支持 创建任务、修改订阅 设置并测试对应处理脚本。
- 数据处理 步骤，选择指定表 > 操作 > 数据清洗 或 批量操作 > 数据清洗 。
设置说明
- 指定表操作，可选择目标字段，并设置相应脚本。
- 批量操作，可搜索存在目标字段所在表，并填写相应脚本进行批量设置。
- 可填写测试值，对脚本进行测试。