重构现代数据仓库:衰败还是革新?

2017-11-04 22:28:00 作者:Michael Lock 分类 : 比特网

   我们对数据仓库有何期待?我们需要次秒级查询延迟吗?有时候需要。我们是否需要巨大的可扩展性,同时确保不影响数据仓库的性能?也许,大多数情况下,我们只是需要一个地方来存储和组织支持当今分析活动的信息

  我们很容易被大数据领域的快速创新和演变所吸引而蒙蔽了双眼。如今,大部分精通技术的企业都有机会利用大数据工具,处理令人头脑发麻的先进用例,生成极具吸引力的结果。但是,现在很多企业仍然依靠传统数据仓库的理念和工作流,更不用说沉没投资了。

  最近的一项 Aberdeen 调查显示,领先企业找到了结合使用自身数据仓库基础架构、新型流程和技术的有效公式,以支持更高级的分析活动。这些一流企业的一些主要特点包括:

http://www.ibmbigdatahub.com/sites/default/files/moderndatawarehouse_embed.jpg

  采用数据湖技术。打造兼具可扩展性和灵活性的数据基础架构不仅仅是大型先进企业的目标。尽管需求千差万别,但只要是大力投资数据环境的企业,他们都迫切地需要高效管理不断增加的数据量和复杂性。因此,为了解决这些需求,许多企业开始探索数据湖架构。然而,根据 Aberdeen 的调查,只有三分之一的企业的数据湖是建立在开源的基于 Hadoop 的技术之上。为了实现数据湖带来的灵活性和可扩展性,大多数企业正在利用商用技术(包括数据仓库软件)。

  使用多元化的数据集。很多人会说,数据仓库最典型的用例是支持分析活动。按照这个定义,现代化的数据架构也将需要存储和组织各种数据。大多数企业在分析过程中使用的大量信息依然是传统的基于应用的结构化数据。然而,越来越多的企业开始探索来自外部第三方数据源的信息、社交媒体渠道的非结构化数据或者机器生成的物联网数据。领先企业拥有更有效的数据管理环境,主要是因为他们需要处理多元化的数据。调查显示,所有这些非传统类型的信息更有可能被一流企业认为“非常关键”。

  实施有力的数据治理/监管。除了数据呈现多元化的趋势,许多企业同时还面临着活跃用户不断增加的局面。而且,这种情况不仅仅表现在分析活动中,还出现在数据访问和操作环节。这种数据和用户不断增加的情况对典型企业的分析前景可谓十分有利,但是也要求企业加强对数据使用的监管。一流企业更有可能实施了有效的政策和程序来治理数据访问并确保合理使用数据。尽管如此,这些领先企业也更有可能使用专门的技术来支持这些政策,提高数据使用监管的自动化水平。

  得益于这些卓越的品质,信息才能够在企业中更顺畅地流动,分析活动变得更高效,业务绩效得以提升。然而,调查还发现,在采用数据仓库技术方面获得了既得利益的企业对这些方面十分看中。换言之,认为数据仓库技术至关重要的企业同样也意识到了这些活动对于他们取得成功非常关键(参见图 1)。

  图 1:现代数据仓库的特点

  如前所述,数据湖的概念与开源 Hadoop 技术并没有必然联系。许多企业依然希望利用过去的商用数据仓库技术投资以及相关的技能组合,构建自己的数据湖。对于持续投资数据仓库的企业而言,数据多元化、数据治理和监管都至关重要。事实上,除了图 1 中介绍了物联网数据,这些企业还指出基于位置的地理空间信息和非结构化数据等数据类型对他们的分析流程至关重要。

  结论

  很多人不禁大声质疑,数据仓库是否已经活力不再。考虑到人们常常对数据仓库项目持消极态度,这个问题情有可原。有时,人们会认为这些项目既浪费时间又耗成本。但是,大量成功的数据仓库实施项目也一定能够因势而动,在当今充满挑战的环境中生存下来(数据规模和复杂性方面的挑战),并实现快速发展。一流的企业能够整合数据仓库技术和其他互补型工具及平台,并实施有效的流程和政策,从他们的数据中发掘切实的成果。

  作者:Michael Lock ,Aberdeen 副总裁兼首席分析师

   免费申请IBM DB2 产品试用>>

芥末视频

最近更新
科普

科普图集
互联网+升级到智能+,开启万物智联新时代

互联网+升级到智能+,开启万物智联新时代>>详情

中国互联网消费市场,发展潜力一片大好

中国互联网消费市场,发展潜力一片大好>>详情

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。