导读:美国《纽约时报》网络版今天撰文称,随着互联网规模不断扩大,数据处理量也在持续增加,因此以往利用标准系统来处理数据的方式已经不能适应时代的发展,而使用一些规模相对较小,但数量庞大的系统来对数据进行分散处理则更符合现实需求。
以下为文章全文:
技术浪潮
这里究竟是硅谷还是霍格沃茨魔法学校(Hogwarts School of Witchcraft and Wizardry)?
过去18个月间,随着Voldemort、Hadoop和Cassandra等产品名称的出现,这个问题变得越来越难以回答。
它们是一个新的专业技术浪潮的一部分。这个技术浪潮包括一系列软件和硬件,它们是专门为Facebook、雅虎和谷歌这样的巨无霸网站创立的,目的是帮助这些网站将数据分割成小块,并且以尽可能迅速和廉价的方式来展示网页,尽管数据处理量还在继续增大。例如,Facebook发明了一种名为Cassandra的技术,用于存储并搜索用户收件箱内的所有信息。
这些产品多数都由创业企业开发的,但它们却表明,由于年轻的企业试图利用新旧企业运营方式的巨大转变获利,因此在硅谷这个全球科技行业的核心地带有望发生一场变革。
上周刚刚开业的硬件创业企业SeaMicro CEO安德鲁·菲尔德曼(Andrew Feldman)说:“业内的情绪很高涨,这是有关创意与技术的泡沫。”
分而治之
在最初的互联网泡沫形成之际,企业都在购买速度最快,价格最高的系统,以便处理不断增大且日趋集中的数据库。但事实证明,对于谷歌和雅虎这类公司目前所从事的业务而言,这种方法的成本过高,而且过于笨重。
现在的重点变成了分批处理信息,将数据分成许多批次,然后将其分配到数以千计的电脑和存储设备中。这种分而治之(ivide-and-conquer)的方法可以有效管理海量的网络数据。
为了适应软件设计的变化,部分硬件厂商也推出了一些全新的电脑系统。
例如,SeaMicro就推出了一系列搭配英特尔凌动(Atom)处理器的电脑服务器。这类芯片通常被用于手持设备或智能手机。菲尔德曼表示,这些芯片足以显示网页并处理其他一些基本的上网任务,但能耗却远低于那些功能强大的服务器芯片。
由于同时进行了其他一些改进,SeaMicro可以在一个大小跟冰箱相仿的机箱内放入十倍于传统服务器的芯片,同时还能够帮助用户节约电力和空间成本。
“互联网带来了这种特殊的流量浪潮,”菲尔德曼说,“你必须要创建一种独特的产品来处理这些流量。”
软件系统
除了SeaMicro外,Schooner Information Technology也提供类似的专业化硬件系统。这些创业企业的产品还要与Voldemort、Cassandra、CouchDB和MongoDB等专业化的软件相配合。这类软件无需使用甲骨文、IBM和微软等公司推出的昂贵而传统的数据库便可以组织并存储信息。
作为Firefox浏览器的出品方,Mozilla工程运营副总裁贾斯汀·菲茨休(Justin Fitzhugh)表示,该公司必须要支持4亿多用户使用其技术,因此电力和数据中心成本的上升令他们有些抓狂。该公司正在对SeMicro的系统进行测试,并且发现该系统在处理一些计算较少的任务时表现不错。
Facebook工程总监鲍比·约翰逊(Bobby Johnson)说:“如果是在10年前,要使用大量的低能耗芯片来处理任务根本不可能,因为还没有出现配套的软件。我们已经突破了一个规模界限,必须将大量的数据分散到许多小型设备中处理,从而提升成本效率。”
大势所趋
Schooner Information Technology的系统中装满了与iPod和手机类似的高速存储器,从而创建出一款可以随时浏览大量信息的设备。这就使得企业能够更快地发送重要信息,而在传统技术中,这一过程则需要借助速度较慢的数据存储设备来完成。
网站管理公司Rackspace的高管乔纳森·布莱斯(Jonathan Bryce)表示,主流企业已经开始使用这些新技术,尤其是软件,因为他们已经被数据搞得不知所措。
布莱斯说:“我们知道有一家大型金融服务企业使用Cassandra来存储交易模拟系统生成的数据。他们需要在伦敦、香港和纽约获得同样的数据,但利用传统数据库却无法做到。”
科技市场研究公司RedMonk创始人斯蒂芬·奥格雷迪(Stephen O'Grady)表示,科技行业经常在标准的计算系统与专业化设备之间反复。他说:“很明显,我们现在正向着专业化的时代迈进。由于网络的规模开始向企业提出更多要求,因此这是大势所趋。”