【七彩虹教育】Light Schema Change 与 DDL 自动同步(七彩虹教育培训学校)

今日霍州(www.jrhz.info)©️

在 Apache Doris 1.2 版本之前,Schema Change 操作比较繁琐,需要手动增改数据列。在上游 TP 数据库发生表结构变更时,需要暂停数据同步任务、待 Doris 中的 Schema Change 完成后再重启任务。

自 Apache Doris 1.2 版本起,我们引入了轻量级的 Light Schema Change 机制,极大地简化了操作流程,常见的增减列场景其处理速度可达毫秒级。Light Schema Change 机制原理如下:

Schema Change:

客户端向 FE 发起增减列的请求;

FE 在接收到请求后,修改当前元数据,并将最新的 Schema 持久化;

FE 向客户端同步 Schema Change 的结果;

Data Load:

当后续导入任务发起时,FE 将导入任务与最新的 Schema 信息发送给 BE;

在数据写入过程中,BE 的每个 Rowset 都会存储当前导入的 Schema 信息;

Query:

FE 将查询计划与最新的 Schema 一起发送给 BE;

BE 使用最新 Schema 执行查询计划;

Compaction:

在 BE 中,对参与合并的 Rowset 版本进行比较;

根据最新的 Schema Change 信息进行数据合并。

经测试,与早期的 Schema Change 相比,Light Schema Change 的数据同步性能有了数百倍的提升,

今日霍州(www.jrhz.info)©️

Light Schema Change 与 Flink-Doris-Connector 的结合,通过 Flink CDC 可以实现 DDL 的自动同步,具体步骤如下:

Source 端捕获上游 Schema Change 信息,开启 DDL 变更同步;

Doris Sink 端识别并解析 DDL 操作(加减列);

Table 校验,判断是否可以进行 Light Schema Change;

发起 Schema Change 操作;

基于这一实现,Doris 能自动获取到 DDL 语句并在毫秒级即可完成 Schema Change 操作,在上游 TP 数据库发生表结构变更时,数据同步任务无需暂停。

特别声明:[【七彩虹教育】Light Schema Change 与 DDL 自动同步(七彩虹教育培训学校)] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

青岛福尔蒂二期智能基地投产在即,释放三大战略升级信号(青岛福莱尔)

二期启用后,常规PEPPCaCO₃系功能性母粒交期压缩至7个工作日内,同时新增抗静电、耐候增韧、生物基相容等功能方向的小批量柔性产线;第三是“跟得住”,他们联合高校共建的检测中心已配备FTIR、DSC、雾…

青岛福尔蒂二期智能基地投产在即,释放三大战略升级信号(青岛福莱尔)

离婚24年,成方圆与王刚:同离婚,不同人生,谁才是真赢家?(离婚二十四小时我后悔了)

在『娱乐圈』️,『明星』️离婚往往是一场轰动的风暴,充满了争执和纷乱,然而王刚与成方圆的故事却截然不同。王刚凭借《宰相刘罗锅》中的和珅一角,成功地俘获了观众的心,他的表演才华达到了巅峰;而成方圆也不甘示弱,凭借一首首民谣…

离婚24年,成方圆与王刚:同离婚,不同人生,谁才是真赢家?(离婚二十四小时我后悔了)

短剧顶流被女友举报涉毒,同居期间吸毒,本人:造谣得有谱(短剧顶流女演员名单)

好景不长,粉丝们逐渐发现他曾接受榜一大姐150,000元打赏,甚至被指与多名女性♀️有过不清不楚的关系,直播记录也被曝光,种种负面新闻接踵而至,曾经的支持者纷纷转变为批评者。经纪公司在选角上也没有太多的把关,往往…

短剧顶流被女友举报涉毒,同居期间吸毒,本人:造谣得有谱(短剧顶流女演员名单)

奇迹人》与《蜘蛛侠:全新的一天》之间的潜在联系探讨(奇迹与奇迹)

在漫威宇宙的最新动态中,电视系列《奇迹人》引发了粉丝们对即将上映的电影《蜘蛛侠:全新的一天》的诸多猜想。 盖斯特在采访中提到,虽然他尚未看到《蜘蛛侠4》的任何剧本,但他相信德斯汀·丹尼尔·克雷顿在创作《奇迹…

《<strong>奇迹人</strong>》与《<strong>蜘蛛侠:全新的一天</strong>》之间的潜在联系探讨(奇迹与奇迹)

百度智能建站软件实测,那些隐藏的高级功能真好用(百度智能建站适合优化吗)

你设置好比例、音色、背景音乐,它能把一篇图文自动转成一个带配音、带字幕、带转场效果的视频。 甚至可以告诉它:“嘿,用SEO风格的标题”或者“来个自媒体爆款式的”。算了,这是我的秘密武器。它让我觉得,AI…

百度智能建站软件实测,那些隐藏的高级功能真好用(百度智能建站适合优化吗)