irpas技术客

Spoon工具使用(kettle进行实时同步数据)_我觉得海星_98_spoon工具

irpas 6210

文章目录 Spoon工具使用(kettle进行实时同步数据)安装相关概念转换DB连接步骤和节点连接 作业DB连接作业项目

Spoon工具使用(kettle进行实时同步数据) 安装

解压完Spoon安装包后,双击.bat文件打开

相关概念 转换:一个或多个数据抽取的工作流程,比如全量抽取某个表的数据等等作业:进行转换或其他操作的集合 转换

新建转换之后,找到主对象树,这里DB连接、步骤、节点连接是必要的,其他的功能项按需求来

DB连接

DB连接是配置数据库的连接信息,以供步骤进行使用(下面会讲到步骤)

这里我们新建数据连接,填上数据库的连接信息

插入表为127-mysql-test 库中的user2表更新表为127-mysql-test2库中的user3表 步骤和节点连接

步骤是用图形化的界面展示你进行kettle转换的一些详细操作 节点连接是连接各个步骤之间的操作

步骤里面包含表输入、表输出、写脚本…选取拖动即可

我这里要做的步骤是:每次增量替换数据(插入/更新/删除数据) 1、执行sql脚本,清空目标表(下面两个方面设置后可以单次执行插入和更新,但是删除源表后,插入表不能同步删除,所以需要设置“执行sql脚本”进行同步删除操作。) 2、表输入 3、表输出 到此就写完了一个转换,如果有多张表,可以在图形化界面中加入多个转换

作业

新建作业之后,找到主对象树,这里DB连接、作业项目等做详细建设

DB连接

跟之前一样,就不详细介绍了,有需要可以用到

作业项目

这里是使用你刚才写的转换,然后启动作业进行kettle抽取

然后启动就可以定时调度了,定时同步数据就完成了。


记录2021-12-23出现的问题:用java代码传param参数时,文件需要对应修改相关参数

1、job文件加入对应参数的初始值 2、转换文件用${…}填入


1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,会注明原创字样,如未注明都非原创,如有侵权请联系删除!;3.作者投稿可能会经我们编辑修改或补充;4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。

标签: #spoon工具