大数据：电信行业的战略方向

   大数据给我们的第一个感觉就是大，那么大数据到底有多大呢？一组名为“互联网上的一天”的数据可以给我们一些参考。
    一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封（相当于美国两年的纸质信件数量）；发出的博客帖达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……并且这些数字还在不断上涨。
     截至2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB （1024EB=1ZB）级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM 的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。
     那么大数据只意味着大么？不，它更意味着，水面下的冰山即将露出水面。目前数据中蕴藏的价值金山已受到广泛关注。2012年3月美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，将发展大数据上升为国家意志，对未来的科技与经济发展必将带来深远影响。

     那么究竟何为大数据呢？广义上讲，大数据是指那些超过传统数据库系统处理能力的海量数据，它的数据规模和传输速度要求很高，或者其结构不适合原本的数据库系统。确切的讲，大数据具备四大特征，即数据量大（Volume）、数据种类多样（Variety）、 实时性强（Velocity）以及其蕴藏的商业价值大（Value）。
     既然大数据有着如此大的价值诱惑，那么他能够使得众多“英雄”竞折腰也不足为奇了。目前开展大数据价值挖掘技术的“英雄”包括电信运营商、互联网厂商、金融企业等等。在众多英雄中，因为互联网厂商的大投入，使得他们在大数据领域已经占据了较为领先的位置。但是，运营商因为拥有电信网络中最全和最完整的数据，而一跃成为开展大数据跨行业应用最有力的竞争者。今后，随着运营商的持续大力投入，他必将成为这个领域的领航者。

      运营商网络中的数据大致有如下一些类型：各类终端的型号数据、用户位置数据、互联网业务数据、用户基本属性数据和用户消费数据。
中兴通讯认为，大数据将成为各行业，尤其是电信行业的战略发展方向。
对电信行业，当前同质化竞争严重，有强烈愿望寻找经营蓝海。由于网络管道化促使企业升级和转型其盈利模式，通过本身拥有的海量核心资源——网络数据，进行分析利用，从而提高运营水平、找到创新点，是运营商的出路之一。

    对政企行业而言，随着日益社会化的信息交互，企业用户有更多的选择余地，留住用户变得更困难。企业需要通过经营数据深入研究消费群体，持续改善产品和服务体验，才能生存发展。而信息化水平的提高，也使得产品、服务更快地被竞争对手模仿学习。总体上，信息化推动了市场竞争，企业必须通过有效利用数据的潜在价值，才能生存和持续发展。
     要想实现对大数据的价值挖掘，大数据技术无疑是基石及助推器。而在大数据技术发展的整个过程中，分布式计算的精髓被体现得淋漓尽致，其中Apache的Hadoop分布式开源架构是大数据的助推器，为包括IBM、阿里巴巴及中兴通讯在内的众多大数据公司所采用.
大数据挖掘的逻辑流程如图所示。在不同的应用过程和领域依托于不同的技术。    中兴通讯大数据价值挖掘技术逻辑图
    中兴通讯的数据挖掘技术可以分为三个阶段、八个环节。其中从数据采集和存储以及检索汇聚是数据的预处理阶段；数据处理、分析、挖掘和模型预测为数据挖掘阶段；最后为结果输出阶段。
在数据预处理阶段，中兴通讯使用ETL工具，负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
    数据挖掘阶段为整个过程最为关键的阶段，中兴通讯采用CEP（复杂数据处理）和MapReduce等技术，其中CEP将数据流抽象为事件序列，使上层应用能够实时掌握运行状况并采取行动。
最后是输出呈现阶段，目的是是更加智能、简便及顺畅的呈现数据挖掘的各种成果。中兴通讯采用的技术有云计算、标签云、关系图等。
整个过程中，大数据涉及到的技术繁多，同时也日新月异，技术总在不断地演进。中兴通讯作为通信行业中的标兵，一直致力于大数据技术的研发工作，为大数据整体技术的演进起到了推动作用。在大数据的的演进中，中兴通讯认为以下趋势会日趋明显：
在数据存储和管理上，高效存储成为存储技术主要的研究方向，关系数据库和分布式数据管理方式逐步走向融合。
      大规模数据处理分析需求的多样性，导致离线批处理、实时流处理、分布式内存计算、图计算框架等多种计算框架并存。需要灵活采用混搭架构满足应用需求。同时，多模式计算框架走向融合。
对自然语言理解的需求推动语义WEB技术发展，跨媒体的数据融合业务推动多维多模态信息融合与处理，大数据可视化成为快速理解大数据的 途径。
电信智能数据应用沿“MSS至BSS至OSS至电信网元”路径发展深入，应用场景大大丰富，同时不同领域的数据存在交叉融合。
     大数据平台技术更能直观地体现大数据挖掘技术的组成。大数据平台是介于数据整合和应用之间的，具备数据预处理、处理、分析挖掘以及对外接口共享等功能。其中数据处理包括了实时流处理      （CEP技术）和离线批处理（包含了Hadoop的文件系统HDFS和数据处理MapReduce等关键技术）。在数据挖掘中，中兴通讯针对各种应用开发出了不同的组件，包括人流分析组件、用户行为分析组件等。这些组件的开发，充分体现了中兴通讯致力于大数据的实际应用开发的智慧和能力。
     Hadoop MapReduce是离线批处理中的主流技术，Hadoop发展过程中一个重大的变化就是引入了YARN，将MapRedcue中的资源管理调度剥离出来，为多计算架构融合打下基础。Hadoop的开源促进了大计算技术快速的应用，但是开源系统的不完善也是实际使用过程中需要解决的问题。中兴通讯在高可用性、性能优化、管理优化等方面做了大量的工作。
    大数据业务应用呈个性化、社交化、智能化的趋势，人机交互的需求推动智能问答发展和应用。
    大数据的应用已广泛深入我们生活的方方面面，涵盖通信、医疗、能源、经济、交通、零售业等各种行业：
Seton Healthcare是采用IBM 沃森技术医疗保健内容分析预测的 客户，该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。
    维斯塔斯风力系统，依靠的是BigInsights软件和IBM超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场 的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足1小时便可完成。
    NTT docomo把手机位置信息和互联网上的信息结合起来，为顾客提供附近的餐饮店信息，接近末班车时间时，提供末班车信息服务。
    零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与交易记录相结合来展开分析，从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见，此类方法已经帮助某领先零售企业减少了17%的存货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例。
而对于我们特别关注的通信市场来说，运营商在大数据上的应用主要体现在如下四个层面。
在市场层面，运营商可以利用大数据为自身的产品服务，通过大数据分析用户行为，改进产品设计，并通过用户偏好分析，及时、准确地进行业务推荐，强化客户关怀，这样就可以不断改善用户体验，增加用户的信息消费以及对运营商的黏度；
    在网络层面，可以通过大数据分析网络的流量、流向变化趋势，及时调整资源配置，同时还可以分析网络日志，进行全网络优化，不断提升网络质量和网络利用率；
在企业经营层面，可以通过业务、资源、财务等各类数据的综合分析，快速准确地确定公司的经营管理和市场竞争策略；
在业务创新层面，可以在确保用户隐私不被侵犯的前提下，对数据进行深度加工，对外提供信息服务，为企业创造新的价值。这样，大数据将助运营商实现从网络服务提供商，向信息服务提供商的转变。
    总之，运营商正在寻求对自有数据最大化的价值变现，提高运维效率，降低运维成本，提升用户关怀质量；提升运营能力，开拓业务市场，加速ICT融合。
作为大数据技术的引领者，中兴通讯主要基于运营商数据和行业数据，在大数据的应用开发上横跨了电信、金融、交通、互联网等行业，开发出了一整套业界领先的大数据应用。
以商铺选址为例，融合用户位置数据和用户画像的商铺选址，克服了传统人工选址的局限，帮助商业用户以低成本快速、精准选址，实现运营商增值业务和商业客户的深度捆绑，提升价值客户黏性。
   大数据被业界重视要晚于云计算，本来独立发展的两大方向能否很好地互补，结成一个美妙的组合呢？答案是肯定的。在互联网时代，大数据与云计算的结合可以实现对海量数据快速、廉价的存   储与分析，从而推动大数据在各行各业的发展。
   两者合作的关系可以体现在以下几个方面：
   云计算作为大数据的IT基础，而大数据成为云计算的一个杀手级应用；
   大数据的许多重要技术根植于云计算，云计算关键技术中的海量数据存储技术、海量数据管理技术、MapReduce编程模型，都是大数据技术的基础；
   云计算驱动大数据的成长，而另一方面，由于数据越来越多、越来越复杂、越来越实时，这就更加需要云计算去处理；
  大数据着眼于“数据”，关注实际业务，提供数据采集分析挖掘，看重的是信息积淀，即数据存储能力；
  云计算着眼于“计算”，关注IT解决方案，提供IT基础架构，看重的是计算能力，即数据处理能力。