科技行业：Apache Doris在任子行的应用实践

　　存在写入瓶颈，吞吐能力达不到预期；

　　对服务器的 CPU，内存及磁盘的要求都比较高；

　　 倒排索引导致存储成本较高，达不到降本增效的效果；

　　聚合计算场景能力一般，会出现聚合不准确的情况；

　　分析需要具备 DSL 能力，复杂场景 SQL 模式支持有限；

　　传统数仓架构实时性得不到很好的保证。

　　架构复杂度比较高，数据链路长。

　　缺乏湖生态的技术储备，预研周期较长

　　每天有几千万上亿的半结构化数据需要摄入，Json 深度及字段数量都不可控，因此 ODS 层我们选用了基础的 Duplicate Key 模型，快速稳定的完成原始数据存储

　　D W S 层 跟 据 具 体 的 数 据 特 性 在Aggredate Key 模型和 UniqueKey 模型之间进行选择。简单的去重和更新使用 Unique Key 模型，指 标 语 句 和 复 杂 数 据 合 并 使 用Aggredate Key 模型

　　 ADS 层作为对外直接使用的应用层数据，我们主要沿用 Duplicate Key模型和 Unique Key 模型。点查和实时更新使用 Unique Key 模型，周期全量计算结果表使用 DuplicateKey 模型

点击复制链接查看完整PDF研报

任子行 孔繁艺