管理软件

  |  手机版

收藏网站

投稿QQ:1745232315

IT专家网,汇聚专业声音 解析IT潮流 IT专家网,汇聚专业声音 解析IT潮流

网络

专家视点在现场环球瞭望
IT专家网 > 管理软件

别让你的数据仓库拖了企业业务的后腿

作者:Joe出处:51cto2018-10-21 15:50

  企业该如何进行技术选择?

  针对这一问题,徐峰认为,企业应根据所处的不同阶段进行选择:

  起始阶段:处于这一阶段的大多数企业已采购MPP硬件搭建数据仓库。为了保证业务延续性,对于起始阶段的企业建议以传统技术为主,以大数据技术为辅。例如:ETL处理仍然放在MPP平台,只是利用HDFS做历史数据归档,利用Spark Streaming做小批量数据的实时处理。

  发展阶段:这一阶段的企业用户已经掌握了大数据的核心技能,发展阶段建议以大数据技术为主,以传统技术为辅。例如:将ETL处理全部转移到Hadoop平台,而只将处理逻辑简单的固定报表部分放在MPP上。

  成熟阶段:建议使用Hadoop平台作为整体架构,将大数据技术应用到极致。

  将数据仓库规划在Hadoop之上?

  “企业可以选择从一开始就将整个数据仓库规划在Hadoop之上。传统数据仓库架构的主要创始人Ralph Kimball博士在2015年发表专题演讲时证实了Hadoop是可以完全取代MPP来建立数据仓库的。”徐峰提到,“在全球范围内,也确实有很多企业已经将他们的数据仓库完全建立在Hadoop之上。”

  但是从技术的角度,有一些数据仓库技术或工具与Hadoop相比已非常成熟,可能已有数十年的历史,对于这些长期应用的数据库技术,Hadoop并不具备其中所有的功能或性能。但即便如此,很多用户仍然选择把他们的数据仓库构建在Hadoop架构之上,这是为了能够实现更加优越的可扩展性、更高的性价比,以及更好的灵活性。在实际应用中,即使是规模只有5个节点的小集群,企业使用Hadoop与其他技术选项相比,也能够取得更好的产出、带来更多的业务价值与竞争力。

相关文章

关键词:传统数据仓库,大数据

责任编辑:周文武

网警备案