道客巴巴CTO刘斌:10亿文档的数据挖掘与应用

2016-09-07 17:41:00 作者:互联网 分类 : 比特网

  2016年8月26-27日,WOT2016移动互联网技术峰会在北京粤财JW万豪酒店隆重召开。自2012年以来,WOT品牌大会秉承专注技术、服务技术人员的理念已经成功举办十一届,不仅积累了大量的专家资源,更获得广大IT从业者和技术爱好者的认可和好评,并成为业界重要的技术分享及人脉拓展平台。

  道客巴巴CTO刘斌接受记者采访

  会议现场,道客巴巴CTO刘斌接受了记者采访,结合道客巴巴文档分享平台实际发展情况及现有技术架构,深入解析了道客巴巴对亿级文档的概念理解以及对亿级文档的数据挖掘与应用。

  道客巴巴CTO刘斌介绍亿级文档的数据挖掘与应用

  道客巴巴:亿级文档分享平台

  作为在线文档分享平台,道客巴巴致力于为数亿互联网用户打造自由交流与平等学习的开放式互动平台,让更多用户在分享知识中提升自我。经过多年发展,用户分享至道客巴巴的文档数量已经超过了10亿,文档内容涵盖了考试资料、教学课件、学术论文、应用文书、企业文案、行业研究资料等几十个领域。

  记者了解到,在文档分享领域,道客巴巴注重文档以质为本,服务以人为本,技术以新为本。

  作为国内首家提供免费全文阅读的文档分享平台,道客巴巴实现了从连接人与信息向连接人与服务转换的飞跃。道客巴巴现有的文档分享平台、任务互助平台、企业文库等产品既能给用户提供价值,同时用户也能给产品提供价值,进而用户与用户之间实现价值的交换与满足。

  道客巴巴CTO刘斌介绍亿级文档的数据挖掘与应用

  安全存储:10亿文档的首要挑战

  目前,道客巴巴的文档数量已经达到10亿,如此海量的文档内容,给数据存储技术带来了哪些挑战?

  刘斌表示,网站建设初期,道客巴巴采用原始的存储方式,虽然采用了Raid5架构,避免了单个硬盘故障导致的数据丢失,但如果计算机其他硬件出现故障,可能导致该计算机上的数据短时间内无法正常服务。为了改善这一情况,道客巴巴结合开源软件hadoop的分布式架构,并对小的文档文件进行自定义索引合并,生成适合Hadoop存储的大文件,避免了Hadoop小文件过多导致的性能问题。同时,道客巴巴通过多副本的形式进行存储,以保证单台计算机出现故障时,其他计算机可以将故障的数据备份,从而保证数据的安全存储。

  文档去重:十亿文档的冗余问题

  目前,道客巴巴用户数已达7000万,每天上传大量文档,其中难免会有重复文档,如何避免相同或相似的文档被重复上传并发布?对此,道客巴巴特别建立了文档验重去重技术体系:积累了百亿级的验重基础数据元,采用了分布式的并行计算方式,高效的检测出文档是否重复并得到文档内容的重复率,对于相同或相似的文档进行了有效过滤,保证了文档内容的唯一性和优质性。

  数据挖掘:全文检索及智能分类

  在应对存储和去重挑战的同时,为了给用户提供更高质量的服务,道客巴巴对数亿优质文档进行了更深入的数据挖掘,让用户在数亿文档中快速、精确的检索到自己需要的内容,同时,网站可以根据用户的阅读行为,主动为用户推荐更加符合用户需求的文档。

  道客巴巴采用了全文检索技术,对数亿文档内容进行了分词索引,采用了上百台高性能服务器进行分布式并行全文检索,将检索结果汇总到主服务器并进行文档排序,将优质文档毫秒级展示给用户。

  由于道客巴巴用户的分散性,导致上传的部分文档未能精确匹配已有分类。为了提高文档分类的准确性,道客巴巴特别采用了智能分类技术解决方案。经过多年的积累,每个分类下汇集了大量精确文档作为计算机学习样本,通过智能分类算法,对未知文档进行有效分类。

  挑战与机遇:文档服务的未来

  目前,大部分文档阅读平台基本都采用Flash阅读方案,随着HTML5技术的发展,Flash逐渐被替代,文档的在线阅读方案也将面临技术改革,陆续过渡到HTML5的阅读方式,但由于HTML5在文档的内容保护方面尚存欠缺,如何保证文档内容的安全性,成为此次技术改革的难点。针对此次难点,道客巴巴研发团队综合了国内外多方面经验,为下一步技术过渡打好基础。另外,在搜索和验重方面,业内所采用的方法很难实现语义上的识别,道客巴巴已经突破了同义词的重复识别,但是在语义分析上同样面临着巨大挑战,解决这一技术难题,是道客巴巴提升文档服务的努力方向与重要目标。

最近更新
科普

科普图集
从《中国互联网+指数报告(2018)》看数字经济

从《中国互联网+指数报告(2018)》看数字经济>>详情

“互联网+”的这些新变化,你知道吗?

“互联网+”的这些新变化,你知道吗?>>详情

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。