盖特纳张瑾演：大数据对数据中心架构的新挑战

网易科技讯 11月30日消息，由CSDN主办的Hadoop与大数据技术大会在北京新云南皇冠假日酒店开幕。网易科技直播报道。

以下为盖特纳公司的数据中心研究部的首席分析师张瑾演讲，主题是“大数据对数据中心架构的新挑战”。

主持人胡春明：下面我们有请来自盖特纳公司的数据中心研究部的首席分析师张瑾先生来为我们做演讲。

张瑾：感谢大家，我是来自盖特纳公司的数据分析师，进行有幸看到有这么多的朋友来参加这个会。我今天演讲的主题是有关大数据对数据中心架构的新挑战。

实际上我想说的是，刚才看到了这么多的朋友都在对大数据的话题这么热衷，盖特纳公司作为一间专门对全球的企业和和各种机构提供以IT决策支持的公司来说，我们更多看到的是有关企业角度看到他们对大数据的认知。企业的角度来看，大数据对他们既是挑战也是机遇。

首先是挑战，从大数据的定义来说，大数据是用传统的技术方法无法解决的数据问题。所以说大数据首先是一个大问题，有很多的方面，这里有一些数据，比如说数据的增长量的问题，实际上我想大家都很熟悉了。这里有一个比较重要的重点是我们发现实际上传统的应用也有很多数据方面的问题，大数据问题不单单是我们常常说的互联网、多媒体等新的数据，有很多的数据是企业的传统应用因为数据量的增长，现有的IT架构也慢慢地不能满足要求了。也就是说大数据一半是新的业务，也有一半是解决传统业务的性能问题。企业的角度来看管理数据的成本也是促使大家采用大数据新的解决方案的原因之一。

另外我们看到经常有很多的用户问我们大数据新的应用和传统的应用有什么不同的？是不是原来用的东西要替换掉？这是一个补充而不是替换。另外，大数据最主要的问题之一是多种数据的混合体，也就是说它不再是说像传统的能够事先预知数据的格式和形态，数据交互的手段、协议。实际上很多的数据甚至于不是由企业本身所拥有的，而是由外界所提供的，所以说这些数据是多种数据的混合体，这是一个很严重的问题。

另外，对企业应用来说，实际上企业到现在为止还不是很习惯于采用开源的解决方案，也就是说绝大部分的企业在大数据上的研究的瓶颈是，商用的版本不够丰富，支持还不够完善，这对企业应用来说是一个挑战和机遇并存的状态。今天的几个议题、大数据的特征以及能提供到的新的技术和新的产品以及企业应用的状况是什么样的？

首先看一下大数据的定义，我们所说的大数据是传统的架构、传统的技术无法解决的数据的问题。但我想在这里特别指出的是，因为大数据的名字有“大”，所以很多人把重点集中在了数据的容量上，也就是大家都认为数据量是最大的问题。实际上大数据除了数据量还有很多的问题，大数据会把信息管理的各项需求都推向极致。最下面的这一层是大数据基本的问题，提到了大的大数据量以及多样性和高速，也就是传统的3V的概念。另外我加上了有关复杂性，复杂性包括了空间维、时间维等多种数据的复杂性。所以说这些问题实际上是大数据解决方案首先应该考虑的出发点。解决这四个方面的问题只是大数据解决方案的基础。我能够让这套系统支撑起大数据的平台来。实际上在这之上还有很多的问题需要解决。但我觉得直到今天业界的重点关心的要点还是在最下面的四维的问题。实际上中间这一层还有很多的问题是关于访问权限的问题。首先数据的敏感性是一个很基础的问题，但到了现在为止现有的技术和管理的手段还没有对数据的敏感性分析有很好的解决方案。另外，共享协议，数据将会以什么形式、以什么格式和时间点通过什么样的接口之间能实现这些共享和数据的交换，从这个角度来看，也是大数据的重点问题之一。数据交换的所有的方式都是以标准的协议来支持的。因为在大数据的时代，数据的来源本身是多样性的，数据的格式甚至是无法管理的，因为有很多的数据是来自于企业的外部，来自于互联网的提供商。这种情况下数据的共享协议是一个很严重的问题，到底如何把这些协议自动化地拿到数据仓库里面来。另外是有关热点数据，在大数据的时代也是跟传统的数据管理有了非常明显的差别。传统的数据管理会把单独的时间点作为一个热点数据，这是传统的数据管理里面基本的假设，但是在大数据的时代，我们觉得实际上热点数据首先有可能性并行多个热点数据在您的系统里面。同时，这些热点数据本身之间实际上是有可能有联系的。因为各种事件的相互触发所以很有可能这些热点数据同时出现，而且是相互关联的，甚至于有可能是可以预测的。所以说在大数据时代，热点数据的管理也是一个重要的话题。另外，有关技术实现后面会具体阐述一下。

在四个象限之上还有一个层面是有关质量管理的层面，质量管理应该也是说在传统的数据管理里非常重要的一个方面。这里面提到的有关的有效性、有效期限，这些都有明确的技术工具来解决的。但到现在为止，在这些方面，我们还是非常地依赖于传统的数据仓库的工具，而没有专门针对大数据的工具和技术能够解决这些问题。所以产生的结果是，现在产生的大数据的应用，一方面是受制于用户接受的程度本身，另外一方面也是受制于技术。现在来看，很多用户仍然必须要依赖于传统的数据管理的解决方案，而只能拿大数据的技术作为一个前台来做一些预处理。因为它缺少相应的技术和工具的提供。所以说我们认为大数据从12个象限的角度来说还是起步中的起步，因为里面还有一些非常基本的问题到现在还没有解决。大数据的形态有很多，仍然是非常雏形的阶段。数据的集成尤其是跨行业、跨不同的部门，跨各种技术能集成起来的机会还是非常少的。更长远来讲有很多新的商机可以出现，前一段时间我们也是听说英国的客户考虑采用的一种新的基于大数据的模型，他们希望当一个顾客走到用户的时候，首先是告诉客户走进商店，比如说他拿起了一瓶洗发水，在货架里停留了十秒钟，可以通过CCTV的手段可以通过产品产生费用，而且通过之前的购买习惯知道这个用户是不是从前没有买过这个牌子。如果没有买过这个牌子，实际上对这个产品有兴趣了，可以及时地发送短信到手机上，凭这条短信可以在产品上得到10%的优惠。这样的技术实际上可以大大地提高商店的价值，也可以提升厂商推广新产品的效率。但你可以预想到，里面实际上包含了很多基于大数据的技术，比如说移动的定位系统，包括了CCTV人脸识别和数据库，还可以非常迅速地能在10秒内把数据发送出来，可以对数据的计算和传输速度有非常高的要求的。如果能实现这些，对很多的企业都是有非常重要的意义的。但想实现这个功能，我们坐在这里说和想实际上是很容易的，但有很多的技术壁垒必须要突破才能实现。

所以我们认为到现在为止有很多新的形态可以出现。现在有哪些技术，我提到了大数据IT架构的基本的特征，首先必须是横向扩展的，因为是单点的技术无法承受大数据的要求，既然把性能通过横向扩展的架构实现了，有没有必要在每个节点上花费太多的钱。另外它的高可用是通过软件设计和架构的设计来实现的，而不是通过传统的高性能、高可用性的、高短的硬件设备来实现的。另外架构是不共享的，避免资源的征用和仲裁。所以一定会是这样一个基本的架构的特征。现在的架构的技术应该说离大规模的商用和普及是有很大的距离的。

Hadoop是什么在座的各位都非常清楚了，我想说的是我们对Hadoop的重要的观察，我们对Hadoop的关键字进行了搜索，近年来的增长是非常迅速的。对Hadoop的兴趣一直是来源于金融业的，但如果我们把Hadoop进行行业分布的统计的话，会发现实际上虽然金融业仍然是最大的一块，但有很多其他行业都对Hadoop产生了兴趣。也就是说对Hadoop的市场潜力应该说我们不单单地认为是金融业，除了金融业以外应该说跨很多的行业都有可能对技术产生新的购买力。

厂商在哪里？现在厂商还是处于相对初级的阶段，有很多新兴的公司可以提供Hadoop的发行版本，包括刚才的Eric所说的。很多的存储厂商对Hadoop产生了严重的兴趣，我提到了NetApp等的解决方案，这些解决方案很大程度上是说把已经有的技术针对Hadoop或者是针对大数据的应用做了一定的定制化。所以说你很难说它是专门针对Hadoop或者是针对大数据的应用来开发的解决方案，应该说更多的是一些定制化。所以说，这些市场、这些产品和技术仍然处于一个刚刚开始的状态。

大数据和云的关系未来的融合将是重大的趋势。实际上这一点应该说也在验证着程主任的预测，云和大数据是互为因果的关系，没有云很多大数据就不存在，没有大数据很多云的价值是难以体现的。所以这两个技术是相辅相成的关系。另外现在我们也看到了一些基于云的Hadoop的应用，包括了MapReduce的应用。

最后一个话题如果看企业的状况，最开始听到大数据的问题是有关数据备份和数据保护方面的问题。大数据在颠覆着所有的数据保护的手段，这是一个非常现实的问题。这么大的容量传统的数据保护的方法根本不能运行。但是，如果真正仔细地看一下大数据本身，实际上有很多的大数据是不能备份的，90%的大数据都是不需要备份的。因为大数据本身的价值不是在大数据里面的，因为大数据提炼出价值之后很有可能的后台数据就没有必要再继续保留了。有很多大数据的解决方案在架构设计上已经充分地考虑了硬件容错的问题，所以很多的大数据系统实际上现在都是再一个没有备份的前提下在做运行。

另外是包括了数据访问、安全、隐私、法规、归档，对数据管理来说一些非常重要的甚至于可以说是非常致命的一些需求，到现在仍然没有足够的解决方案，我们也是希望未来无论是厂商也好、用户也好能够重点看一下有关数据管理的问题，因为这将会是大数据解决方案中的一个可能最薄弱的环节了。

另外现在的应用状况，首先Web的应用把技术可行性进行了充分的论证，但在普遍的传统行业还是在非常小规模的实验性的应用的状况下，我也和业界的很多的企业沟通过，包括银行业、电信业、能源都有一些小规模的应用，实际上应该说不算是应用，更多像是一个演习，他们也在积累着相应的技术，业界关注的重点还是在技术实现上。这对人员和流程管理的关注上还不够，这将会产生严重的问题是有关人才短缺，盖特纳今年刚刚发布了一个预测，就是我们认为到2015年将会产生1万个数据科学的职位。但实际商业街只能满足1/3。也就是说在大数据的应用方面，人才短缺将是非常现实而急迫的问题。我非常高兴今天有这么多人，相信各位是下一代的大数据的新贵。这是非常好的职业发展的方向。

我们对企业的建议首先是应该迅速接受大数据的概念，不单单是从解决现有的IT的问题的角度，更多的应该从未来的新的利润增长点和新的竞争点的角度，应该采用非常积极的态度。另外是避免进入厂商的炒作，要对此有警惕性。同时，需要在实施的阶段确定每一步的投资规模和设立里程碑，最终希望了解这些不成熟性必然会带来一部分的失误和风险的可能性，所以应对此有所被。从IT部门的角度来看，数据的价值应该说是由业务部门来产生的，所以必须要充分了解业务的需求。另外来说，根据这些需求新的大数据的需求重新规划加厚并对预算做准备，同时业务部门内实际上也是需要做相应的技术准备。我这里有一些盖特纳的报告，希望大家如果有兴趣能够参考一下，非常感谢！