Flink 实现 MySQL CDC 动态同步表结构_腾讯云大数据 作者:陈少龙,腾讯 CSIG 高级工程师 使用 Flink CDC(Change Data Capture) 实现数据同步被越来越多的人接受。本文介绍了在数据同步过程中,如何将 Schema 的变化实时地从 MySQL 中同步到 Flink 程序中去。 背景 MySQL 存储的数据量大了之后往往会... CSIG irpas 3906 02-07
实时数仓:基于 Flink CDC 实现 Oracle 数据实时更新到 Kudu_腾讯云大数据_oracle 实时数仓 作者:于乐,腾讯 CSIG 工程师 解决方案描述 概述 Flink CDC 于 2021 年 11 月 15 日发布了最新版本 2.1,该版本通过引入内置 Debezium 组件,增加了对 Oracle 的支持。本方案主要对 flink-connector-oracle-cdc进行试用。首先在本地对 Oracle CDC... CSIG 大大的周 4060 02-07
基于流计算 Oceanus(Flink) CDC 做好数据集成场景_腾讯云大数据_oceanus 大数据 作者:黄龙,腾讯 CSIG 高级工程师 数据时代,企业对技术创新和服务水准的要求不断提高,数据已成为企业极其重要的资产。无论是在在企业数据中台的建设,亦或者是打造一站式数据开发和数据治理的PASS平台。首先需要做的就是进行跨应用的数据融... CSIG irpas 823 02-07
数据分析小结:使用流计算 Oceanus(Flink) SQL 作业进行数据类型转换_腾讯云大数据_flinksql转换数据类型 作者:吴云涛,腾讯 CSIG 高级工程师 ?在这个数据爆炸的时代,企业做数据分析也面临着新的挑战, 如何能够更高效地做数据准备,从而缩短整个数据分析的周期,让数据更有时效性,增加数据的价值,就变得尤为重要。将数据从来源端经... CSIG 网络投稿 3179 02-07
HiveCatalog 介绍与使用_腾讯云大数据 作者:苏文鹏,腾讯 CSIG 工程师 一、背景 Apache Hive 已经成为了数据仓库生态系统中的核心。它不仅仅是一个用于大数据分析和 ETL 场景的 SQL 引擎,同样它也是一个数据管理平台,可用于发现、定义和演化数据。Flink 与 Hive 的集成包含两个层面... CSIG 未知 6872 02-07
万字长文助你上手软件领域驱动设计 DDD_腾讯技术工程 作者:faryrong,腾讯 CSIG 后台开发工程师 最近看了一本书《解构-领域驱动设计》,书中提出了领域驱动设计统一过程(DDDRUP),它指明了实践 DDD 的具体步骤,并很好地串联了各种概念、模式和思想。因此,我对书本内容做了... CSIG 网络 4873 02-07
Flink 实现 MySQL CDC 动态同步表结构_腾讯云大数据 作者:陈少龙,腾讯 CSIG 高级工程师 使用 Flink CDC(Change Data Capture) 实现数据同步被越来越多的人接受。本文介绍了在数据同步过程中,如何将 Schema 的变化实时地从 MySQL 中同步到 Flink 程序中去。 背景 MySQL 存储的数据量大了之后往往会... CSIG irpas 5003 02-07