走进清华OCP实验室,百万并发压力测试背后故事

2016-04-01 19:27:00 作者:李代丽 分类 : 比特网

  前不久,数人联合清华大学交叉信息研究院开放计算项目实验室(OCP实验室)完成“百万并发”压力测试。那么,数人云为什么要做这个测试?“百万并发”压力,对于用户来说意味着什么?数人云又为什么把测试地点选择了清华大学的OCP实验室?

  如果你了解数据中心的发展历程,看到由云计算带来的Docker、Mesos的火热,数人云做压力测试这事儿,就不难理解。

  数据中心向云端转型是必然趋势

  无论企业IT发展发展到什么时候,数据中心都是企业的重中之重。了解了数据中心的发展历程,也就知道数人云做压力测试的意义所在了。那么,走到今天为止,数据中心建设发生了哪些变化?数据中心发展的未来,该何去何从?

  “第一阶段是小卖部模式,第二阶段是百货商场模式,第三阶段是商业中心模式,第四阶段是虚拟商业中心模式。”数人云运维负责人庞铮,形象地描述了企业数据中心的发展的四个阶段,每一个阶段都有不同运营模式。

  第一阶段是单机数据中心阶段。至于,为什么会是小卖部模式呢?这一点很容易理解,因为这个时候的服务形式都是1对于1模式,用户一次只能访问一个服务器操作系统简单、软件环境单一,通过兼职就能管理所有应用,一个老板对一个客户。这种模式的好处是成本低,但坏处也相当明显。如果执行人生病了,数据中心的所有业务都要停止。一旦业务量上升,只有一台机器的数据中心就要面临需求的大面积拥堵,服务器宕机就成为了家常便饭。

  第二阶段,单点集群。为了应对小卖部模式的挑战,我们开始大量扩容,构建单点集群的服务器,走向百货商场的模式。比如:在无单点故障高性能LAMP,就是一个标准的单点集群模式。之前,所有的服务都装在一台机器上,当业务压力增加后,机器的硬件性能无法支撑业务,就要把所有的服务分拆。虽然,分拆能减轻业务压力,但也带来并发处理挑战,业务部署环节压力增大,要考虑如何在多台机器上做部署的问题,并且容易出现单点故障。一台机器挂了以后,就会导致所有服务停止。这时候的软硬件坏境开始变得复杂,有专人管理,但用户量增大后,依然会出现拥堵,且成本较高。

  第三阶段,混合业务集群组。解决第二阶段的办法就是把“百货商场”改成“商业中心”模式。缓存、Web前端、数据库都每个模块都是集群的,不会产生单点问题,因为单点故障不会影响整个业务的运行。每个模块都可以进行横向拓展来支持高并发,多组业务同时部署,支持多业务服务。但商业中心模式直接导致企业运营成本提升,一旦企业要“更换店面”,就要重新“装修”,重新雇人,重新找商家。另外,因为长尾业务的存在,让资源利用率变低,服务器数量指数增长也导致故障率增长。同时,软硬件环境繁多,扩展复杂,带来排错难、维护难等等问题。

  第四阶段,虚拟化商业中心阶段。也是OCP实验室和数人云正在努力的方向。这一阶段的虚拟空间是无限大的,商业模式也会存在诸多变数。AI客服可以代替真实的服务员,它可以负责100个、1000个,甚至无限多个岗位。软件层面,可以通过先进的云操作系统来解决,借助开源技术在硬件或者虚拟机上部署。这样做的好处是,成本低,很多应用几乎是0成本。同时,用户体验会更好。因为开源容器虚拟化技术能将系统和软件环境打平,而开源集群技、自动调度等技术可以让硬件环境抽象化,并且能动态调度解决故障和自动化迁移、弹性扩展、快速部署等问题。

  数人云轻量级PaaS将应用弹性发挥到极致

  OCP+数人云拥有共同的愿景,那就是打造下一代数据中心!

  在这次百万压力测试中,OCP重点解决硬件问题。而数人云DCOS则提供了整个压测环境的安装部署和运行,包括压测工具Tsung、负载均衡器HAProxy、Web服务器NginX等等。数人云DCOS把压测环境涉及的所有程序都封装在Docker容器里,管理调度整个压测环境运行的数千个Docker实例。

  那么做这件事,有什么意义呢?百万压力测试实验证明数人云有三大能力:

  首先,快速部署能力。 整套系统使用43台服务器来做压力测试,外加3台监控服务器、3台管理服务器,部署了5套应用集群。最终,系统、Docker封装完以后,数人云DCOS可以在2个小时内部署完成,并且可以复制。

  其次,弹性扩展能力。压测过程中,需要反复的对加压端、承压端、转发端进行单机和集群的优化测试,所以需要用到非常强的弹性功能。数人云采用了两大方案。一个是Locust,通过这种简单易用的分布式负载测试工具,对网站进行负载压力测试。但这种方式对于超线程支持不好,所有加压机只能打出接近32W的并发请求。于是采用了第二个方案,即基于Erlang的一个开源分布式多协议的负载测试工具——Tsung,可以支持HTTP,WebDAV,SOAP等只要硬件足够可以支持几十万到上百万的压力都可以支持。

  其三,可支持大并发请求。数人云DCOS最终仅用10台OCP服务器就承载了百万并发HTTP请求,用Tsung模拟每秒钟100万个用户的并发请求,每秒平均处理85万请求。

  百万并发压力测试背后

  至于,数人云又为什么把测试地点选择了清华大学的OCP实验室呢?我们需要先了解下双方的合作背景。

  2015年6月,Facebook资助清华大学交叉信息研究院,成立中国唯一的一家OCP实验室,自2015年9月开始,数人云和清华大学交叉信息研究院助理院长徐葳博士合作在OCP实验室开展数据中心方面的相关研究工作。

  据清华大学交叉信息研究院助理院长徐葳博士介绍,开放计算项目OCP是Facebook领导的项目,最早主要解决数据中心的组件、部件改装、通风等问题。后来开始考虑如何节省数据中心的成本问题,如何把数据中心做得更节能、更环保。开源技术肯定是最佳选择。所以,OCP实验室实际上是把更多应用开放给广大企业使用。

  而数人云也是一家主打开源技术的企业,主打产品是轻量级PaaS平台DCOS。该公司的创始团队全部来自世界顶级公司,包括谷歌、红帽和惠普,在今年3月初公司刚刚宣布完成A轮融资

    为了有效帮助企业解决高并发流量带来的业务瓶颈,数人云在数十台OCP服务器上部署了数人云DCOS,最终顺利完成百万雅压力测试。

* 本文为ChinaByte比特网原创内容,版权所有,转载请注明出处和原文链接,未经授权请勿用于商业用途。

最近更新
科普

科普图集
从《中国互联网+指数报告(2018)》看数字经济

从《中国互联网+指数报告(2018)》看数字经济>>详情

“互联网+”的这些新变化,你知道吗?

“互联网+”的这些新变化,你知道吗?>>详情

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。