kuhuo
kuhuo
发布于 2024-07-07 / 100 阅读
0
0

第19章 数据湖开发之DWS层

注意:数据湖开发代码逻辑跟Doris离线数仓是一致的,并且通过Paimon、Hudi、Iceberg同时实现,目的是通过不同的技术来实现同一套代码逻辑,方便大家参考学习。

一、组件安装详细文档请访问安装部署部分

二、访问github及gitee获取代码及相关jar包

三、数据湖DWS层建设

实现代码参考代码路径:

org/bigdatatechcir/warehousev2/flink/paimon/dw
org/bigdatatechcir/warehousev2/flink/hudi/dws
org/bigdatatechcir/warehousev2/flink/iceberg/dws

Dinky中开发FlinkSQL处理 Paimon dwd层和dim层数据实时写入Paimon dws层中。

可在hive中查看通过paimon写进数仓dws层的表


评论