管理软件

  |  手机版

收藏网站

投稿QQ:1745232315

IT专家网,汇聚专业声音 解析IT潮流 IT专家网,汇聚专业声音 解析IT潮流

网络

专家视点在现场环球瞭望
IT专家网 > 管理软件

别让你的数据仓库拖了企业业务的后腿

作者:Joe出处:51cto2018-10-21 15:50

  数仓迁移过程中的问题及解决方案

  在数仓迁移过程中,该城商行也遇到了一些技术上的挑战,通过攻关研发,并结合之前的数仓开发实践,逐渐摸索出了相应的解决方案:

  1、SQL引擎问题:解决了Teradata SQL迁移的三大问题,使其满足数据仓库应用开发的基础要求:

  构建基于Python的运行框架,增加SQL解析层,解决SQL兼容性问题;

  封装整合代码模版,解决各种运行状态跟踪以及后续回滚处理,实现类存储过程的效果;

  开发上百个自定义函数,涵盖日常使用,提升应用开发效率。

  2、数据模型改造:传统数仓的数据模型存在以下问题:

  模型过于范式化

  模型开发流程繁琐

  过于抽象,业务理解困难

  无法满足SLA

  新模型改造方法:

  模型语义精细,体现业务规则;

  简化模型层次,提升访问效率;

  弱化粒度拆分,减少维护成本;

  去范式化操作,以空间换时间。

  3、数据质量管理:通过建设数据质量检测平台来加强大数据平台上的数据仓库日常数据质量管理的工作。该平台结合行内数据标准定义,支持技术和业务规则批量配置。目前已经配置了1000+检查规则,为大数据平台之上的数据仓库数据质量问题提供了快速定位和流程化解决方案。

相关文章

关键词:传统数据仓库,大数据

责任编辑:周文武

网警备案