论坛 产品库 视频 专题 CIO俱乐部 Windows8 实验室 CMO俱乐部 案例

互联网数据挖掘:发现互联网数据中的知识与情报

发布时间:2012-01-12 11:50:00 来源:比特网 作者:海量
关键字:海量 互联网 数据挖掘 智能计算

  信息从稀缺到过量的转变带来了广泛影响,企业主们将更多注意力转向如何利用信息发掘商业机会和商业价值,规避经营风险,揭示企业未来的发展方向,并希望通过利用更有效的架构,管理、分析海量信息,预测统计数据和采集其他具有可行性的信息,并帮助企业做出下一步行动的决策。

  以往,我们将这一类工作称之为数据挖掘(Data mining)或数据采矿、数掘发现。它是数据库知识发现(Knowledge-Discovery in Databases, KDD)中的一个步骤。数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性的信息的过程,并通过统计、在线分析处理、情报检索、机器学习、专家系统和模式识别等诸多方法来实现上述目标。

  数据挖掘技术早已成功地应用于传统数据库领域,现在,我们对于数据挖掘应用于互联网数据,这样的一些特殊数据源的应用也看到了希望,并且有一些人和机构正在做出相应的研究并发展出了相关的技术和应用。

  传统数据挖掘

  数据挖掘是信息技术自然进化的结果。数据库功能的发展见证了其进化的过程,从数据收集和数据库创建到数据管理(包括数据存储和提取,数据库事务处理)直至到数据分析与理解(涉及数据仓库和数据挖掘)。

  “数据丰富,但信息缺乏”,快速增长的海量数据收集、存放在大型和大量数据库中,没有强有力的工具,理解它们已经远远超出了人的能力。收集大量数据的大型数据库变成了“数据坟墓”,而数据挖掘工具将数据坟墓转换成为了知识“金块”。

  典型的数据挖掘系统主要由以下几部分组成:数据库、数据仓库或其它信息库,数据库或数据仓库服务器,知识库、数据挖掘引擎,模式评估模块和用户界面。

  在实施数据挖掘之前,先制定采取什么样的步骤,每一步都做什么,达到什么样的目标是必要的,有了好的计划才能保证数据挖掘有条不紊的实施并取得成功。很多软件供应商和数据挖掘顾问公司投提供了一些数据挖掘过程模型,来指导他们的用户一步步的进行数据挖掘工作。一般的数据挖掘步骤包括定义商业问题、建立数据挖掘模型、 分析数据、准备数据、 建立模型、评价模型和实施。

  数据挖掘能帮助企业改进理解客户行为的能力。相应地,这种更好地理解也有助于企业更准确瞄准目标市场并使活动更符合客户需求、想法、态度和期望。例如,从超级市场的售货数据中分析发现,购买纸尿裤的顾客经常同时也购买啤酒,而经常在超级市场中这两种商品并不是摆放在一起,利用数据挖掘得到情报后,超市调整了这两种商品的摆放位置。


比特微信账号
比特微信账号

微信扫一扫
关注Chinabyte

返回首页 长微博 返回顶部