BETHASH官方网站(访问: hash.cyou 领取999USDT）

　　本文由货拉拉国际化技术部资深数据仓库工程师林海亮撰写，围绕Flink在实时数仓中的应用展开。文章首先介绍了Lalamove业务背景，随后分析了Flink在实时看板、数据服务API、数据监控及数据分析中的应用与挑战，如多数据中心、时区差异、上游改造频繁及高成本问题。接着阐述了实时数仓架构从无分层到引入Paimon湖仓的演进过程，解决了数据延迟、兼容性及资源消耗等问题。最后展望未来，提出基于Fluss+Paimon优化架构的方向，进一步提升性能与降低成本。

　　Lalamove 于2013年在香港成立，是货拉拉的海外业务品牌，作为全天候即时送货平台，致力透过快速、灵活、经济的送货服务为社区注入动力。不论是个人客户、中小企和大型企业，经 Lalamove 手机应用程式即可与专业司机伙伴配对，提供各类车款选择。Lalamove 致力运用科技优势，紧密连系用户、司机伙伴、货物及道路，现时 Lalamove 的业务已覆盖亚洲、拉丁美洲以及欧洲、中东、非洲地区（EMEA）共13个市场，以科技物流满足各地社区的物流需求，为当地带来正面影响。

　　（1）2022 年前：采用 Flink1.9 版本，开发模式为面向应用的烟囱式，无分层设计。上游业务系统由单一宽表构成，下游通过消费单一流表进行核心指标开发。这种模式下，单个数据流被多次消费和重复计算，采用 groupby 全窗口计算方式，导致单个任务状态过大，需要大量计算资源。同时，由于实时看板需要进行可选日期相同时点环比，需保存大量历史数据的中间窗口数据，一旦数据出错，只能通过离线 天的修复，资源维护成本较高。

　　（2）2022 年：基于一流多用的理念，搭建了从 ODS - DWD - DM 的实时数仓分层架构。ODS 层由业务数据 binlog、埋点数据以及后端数据统一输出到 kafka 构建；DWD 层则进行数据的ETL处理；DM 层运用 Flink 的 TVFs 窗口计算新特性，以面向时区的方式进行计算，大幅减少了计算资源的消耗。同时，采用累计窗口回跑中间结果的数据修复模式，提高了数据修复的效率。此外，这种面向时区的分拆计算模式还从数据结构上有效解决了不同时区市场数据量差异大带来的数据倾斜问题。

　　（3）2023 年：上游业务系统升级，从单一订单宽表改造为 3 张事实表。为避免实时流关联带来的资源消耗和数据重复问题设计了多 DWD 表结构，以满足不同维度指标的计算需求，包含了订单用户、订单司机、订单账单、订单需求多张业务宽表，以及埋点用户、埋点司机等埋点宽表。并随着业务量增长，埋点数据大幅增加且具有明显的高峰低谷特性，Lalamove 将集群升级到 Flink1.18，并部署为 Flink on K8S，建立了任务级自动扩缩容规则，确保埋点数据计算不会长时间占用大量集群资源。

　　（4）2024 年：面临着上游业务订单、账单以及结算几个大业务系统的改造，其中订单业务将从 3 张订单实时表扩展为 20 多张业务事实表，各表更新时间不一致，后端状态保留时间难以预估；账单及结算同样基于业务做不同场景的事实表分拆。在此背景下，引入 Paimon 引擎。Paimon 既能作为 sink 目标组件，又能作为 source 消费其 change - log，其 partial - update 特性与新业务系统高度兼容。ODS 层依旧从canal直接输出到 kafka 不做任何处理，DWD 层在 Paimon 构建订单与埋点主题宽表，在 Flink 任务中按字段级别进行更新，并基于 sequence 机制保证数据顺序，在 Flink 任务中对数据进行 ETL 处理，实现数据的清洗、转换和整合。DWB 层关联 DIM 构建最终的大宽表。DM 层保持按时区基于事件时间进行处理，数据在 Paimon 做存储，Kafka 进下分发，特定场景也会存储在 OLAP 提供即席查询。

　　：实时侧数据模型与实时引擎技术紧密相关，基于不同版本的 Flink 和 Paimon 湖仓，数仓模型的构建方式也有所不同，因此也可以说相对离线在实时领域的数据模型相对并不“稳定”。目前，PRD 环境是基于 Flink1.18 + Paimon1.0 进行搭建。另外需要强调的是，在上下游协同方面，下游实时开发能积极参与上游业务系统改造，对上游在改造时提出合理的字段冗余诉求能够减少实时链路中的流关联，使数据模型更加轻量高效。

　　尽管基于 Paimon 构建的链路在当前取得了显著成效，但仍存在一些局限性。Paimon 表文件合并会带来数据秒级延迟问题，同时维护 Kafka 及 OLAP 第三方组件也需要一定开销。为了进一步优化实时数仓架构，Lalamove 已经不断在尝试基于各种技术栈来加强湖流融合，目前社区生态中的 Fluss 所提供的能力恰好能解决现有架构所面临的痛点，下一步的实时数仓构建也会在 Fluss+Paimon 基础上不断地演进。

　　本文整理自SelectDB技术副总裁陈明雨在Flink Forward Asia 2024的分享，聚焦Apache Doris与湖仓一体解决方案。内容涵盖三部分：一是介绍Apache Doris，一款高性能实时分析数据库，支持多场景应用；二是基于Doris、Flink和Paimon的湖仓解决方案，解决批流融合与数据一致性挑战；三是Doris社区生态及云原生发展，包括存算分离架构与600多位贡献者的活跃社区。文章深入探讨了Doris在性能、易用性及场景支持上的优势，并展示了其在多维分析、日志分析和湖仓分析中的实际应用案例。

　　本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享，涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进，以及总结。文章通过三代实时数仓架构的演变，详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案，并探讨了未来从实时数仓到实时湖仓的演进方向。最后，结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用，帮助用户根据业务需求选择合适的方案。

　　本文整理自阿里云智能集团苏轩楠老师在Flink Forward Asia 2024论坛的分享，涵盖流式湖仓架构的背景介绍、技术演进和未来发展规划。背景部分介绍了ODS、DWD、DWS三层数据架构及关键组件Flink与Paimon的作用；技术演进讨论了全量与增量数据处理优化、宽表构建及Compaction操作的改进；发展规划则展望了Range Partition、Materialized Table等新功能的应用前景。通过这些优化，系统不仅简化了复杂度，还提升了实时与离线处理的灵活性和效率。

　　本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享，主要涵盖四个方面：鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖，解决了Hudi入湖的痛点，并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外，还探讨了湖仓一体平台的落地效果及未来技术发展方向，包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。

　　实时计算架构中，传统湖仓架构在数据流量管控和应用场景支持上表现良好，但在实际运营中常忽略细节，导致新问题。为解决这些问题，提出了流批一体的实时计算湖仓架构——UniFlow。该架构通过统一的流批计算引擎、存储格式（如Paimon）和Flink CDC工具，简化开发流程，降低成本，并确保数据一致性和实时性。UniFlow还引入了Flink Materialized Table，实现了声明式ETL，优化了调度和执行模式，使用户能灵活调整新鲜度与成本。最终，UniFlow不仅提高了开发和运维效率，还提供了更实时的数据支持，满足业务决策需求。