irpas技术客

flink sql primary key_And超超

网络投稿 5333

flink sql 添加主键DDL案例:

我们以mysql为例

-- 创建source表映射,注意:这里并不是真正的创建物理表,而是该表在数据库中已经存在。 create table source( id bigint, name STRING, PRIMARY KEY (id) NOT ENFORCED )with (); -- 创建sink表映射 create table sink( id bigint, name STRING, PRIMARY KEY (id) NOT ENFORCED )with (); -- 将source表中的数据同步到sink表 insert into sink select * from source; 添加主键带来的效果如下: 1、当sink表为空表时,source表的数据会全部追加到sink表。 2、当sink表中有数据时,source表的数据会把全量数据同步到sink表,并且会覆盖原有的数据。例如

同步数据之后会把相同主键的value值覆盖掉。例如

flink sql 不添加主键DDL案例: -- 创建source表映射,注意:这里并不是真正的创建物理表,而是该表在数据库中已经存在。 create table source( id bigint, name STRING )with (); -- 创建sink表映射 create table sink( id bigint, name STRING )with (); -- 将source表中的数据同步到sink表 insert into sink select * from source; 不添加主键的效果如下: 1、当sink表为空表时,会将source表的全部数据进行同步 2、当sink表中有数据时,(当mysql表中存在id为主键的情况下)不会将原有数据进行覆盖。例如:

注意:当mysql表中设置以id为主键时,不会把原有的数据覆盖,而是把没有的主键数据(增量数据)同步进来,不过这种情况会报错,原因是主键冲突。当mysql表中没有设置id为主键时,flink会把source表的数据以追加的方式追加到sink表。 执行之后的结果表不会将原来的数据覆盖掉。如下图所示:

3、当mysql表中没有设置id为主键时,flink会把source表的数据以追加的方式追加到sink表。

这里接着执行,这个数据结果就是flink DDL不加主键,mysql中也不加主键的数据结果:

总结:为什么会出现这样的情况是因为flink 添加primary key,导致底层触发upsert操作的原因。

以上观点纯属个人观点,如果有不对的地方,欢迎大家指正!!!


1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,会注明原创字样,如未注明都非原创,如有侵权请联系删除!;3.作者投稿可能会经我们编辑修改或补充;4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。

标签: #Flink #SQL #PRIMARY #key #添加主键DDL案例 #创建source表映射