帆软之使用FineTube将简道云数据同步至其他目标数据库(多图预警)

    技术2022-07-12  74

    总体步骤: 1.finetube连接目标数据库,建立接收数据api 2.简道云新建数据推送 3.finetube建立同步任务 4.测试

    1.finetube连接目标数据库,建立接收数据api

    打开finetube,数据源》物理数据源》创建数据源,连接目标数据库,填写时注意勾选 高级选项》使用unicode字符集,否则数据里的中文会乱码 新建服务,这里我创建了xx_service这个服务 建立接收数据api,数据服务》服务管理》对应服务API》创建API》接收数据 名称和Path需相同,点击获取完整URL,后面在简道云建立推送时用到 第二步默认就行,第三步的输出使用kafka消息队列,bootstrap servers填写kafka地址和端口,

    2.简道云新建数据推送

    打开简道云,进入需要同步的表》设置》扩展功能》数据推送》新建数据推送 服务器地址ctrl+v,粘贴之前的接手接口url,点击生成Seret,推送时间按照自己需求勾选,点击保存后自动会开启推送 这里需要记录下两个参数,表单数据结构中的两个id

    3.finetube建立同步任务

    进入finetube数据集成》同步任务》添加 这里做个最简单的全量同步流程,共三个节点 简道云输入设置,APIKey为简道云企业管理员独有的参数,下面两个id是上文简道云中记录的两个id参数 json格式化设置,先打开简道云查看json结构,格式化设置中字段名路径为字段别名,字段值路径为json的key(简道云输入会自动获取json中data下的数据,即$.直接跟data后的key,其他输入则要从json最外层获取) 表输出设置,数据连接选择数据源即目标数据库,模式选择DB,表名选择要目标表(表结构需与json对应) 再点击字段转换,点击获取字段,点击自动匹配(若json格式化时设置的别名和目标表字段名相同则会自动匹配,不同则自己调整) 最后,鼠标中键按下连线三个节点,若设置正常节点右上角会显示绿勾

    测试

    先点击保存,再点击开始,再到工作台查看任务进度,跑完后用navicat进入数据库看下数据有没有成功同步

    Processed: 0.012, SQL: 9