大数据时代真的来了吗?

发布于:2014-04-22 12:12:59
分享到:


大数据在解决问题的同时,也在向人类提出新的挑战。

大数据时代真的来了吗?

文/听涛



“大数据”无疑是目前最前沿、最热门的高科技新词汇之一。那么,它究竟是什么意思?由何而来?究竟又会给我们的生活带来什么样的变化呢?


爆炸式扩张的数据王国


公元前3世纪,亚历山大图书馆被认为收藏了全部的人类知识。而如果把今天全世界的信息平分给每一个活着的人,那么每个人拥有的信息量将足足超过当年亚历山大图书馆全部藏书的320倍。如果把所有这些信息刻到光盘上,并且分五摞摞起来的话,那么这些光盘可以一直堆到月球。

信息爆炸带来了大数据。

大数据之所以成为可能,是因为近年来计算机和互联网的超高速发展,为大数据提供了产生和发育的温床。可以说,大数据是信息技术发展的必然阶段。在卸任阿里巴巴董事局主席时,马云曾经说,大家还没搞清PC时代的时候,移动互联网来了,还没搞清移动互联网的时候,大数据时代来了。

大数据的“大”是相对传统的“小数据”而言的,“大”其实也就是“大量”。在“小数据”时代,数据往往是用兆比特(MB)和千兆比特(GB)来衡量的,而大数据,则是要处理千倍、百万倍甚至是十亿倍于上述级别的数据。根据科技研究公司IDC作出的估测,数据一直都在以每年50%的速度增长,换而言之,也就是每两年就增长一倍。也许你会不理解:为什么数据只是由“小”变“大”,就变得如此重要?

《纽约时报》撰文认为,这不是简单的数据增多的问题,而是全新的问题。举例来说,在当今全球范围内的工业设备、汽车、电子仪表和装运箱中,都有着无数的数字传感器,这些传感器能测量和交流位置、运动、震动、温度和湿度等数据,甚至还能测量空气中的化学变化。如果对这些海量数据进行深入挖掘和分析,那么不仅将帮助我们更精确地认识世界,更准确地把握事物和事件,还可以帮助我们洞察纷繁表象背后的规律,从而为决策提供可靠的依据,创造出新的价值。中国工程院院士邬贺铨认为,大数据为全球带来440万个IT岗位,每个大数据岗位还催生出三个细分岗位。相关研究认为,到2020年,中国数据产业市场将形成2万亿以上规模。


渐行渐近的大数据


大数据离我们并不遥远,比如,互联网搜索引擎就是大数据技术发展带来的,再比如,在过去的几年时间里,中国的几百个城市安装了数以万计的安防监控摄像头,这些摄像头拍下的视频,每月都产生几十TB的数据(1TB=1024GB),可以装满几十万张DVD光盘,已经达到大数据的规模。利用这些视频数据,警方提高了办案效率,上海警方就表示,监控摄像头去年帮助他们抓捕了6000名犯罪嫌疑人。

《纽约时报》认为,大数据时代已经降临,在这一领域拥有专长的人士正面临许多机会。文章指出,“大数据”正在对每个领域都造成影响。举例来说,在商业、经济及其他领域中,决策行为将日益基于数据和分析而作出,而不再基于经验和直觉;在公共卫生、经济发展和经济预测等领域中,“大数据”的预见能力已经崭露头角。

人类与世界的关系,将借助大数据的帮助,进入一个新阶段。

我们今天在科技领域最热门的两个词:物联网和云计算,都与大数据有着密不可分的关系。关于“物联网”和大数据的关系,有这样一种说法:物联网产生大数据,大数据助力物联网。云计算和大数据的关系,则是一个问题的两面:大数据提供问题,云计算可以提供解决问题的方法。因此,近年来在各国,包括中国各地兴建的云计算、云存储和物联网园区,其“灵魂”实际上都是大数据。如果将大数据比作粮食,那么物联网负责的是生产和储存粮食,云计算负责的则是“将生米做成熟饭”。



走向数据开放的世界


大数据相关产业,已经成为世界上一些主要发达国家看好的新兴领域。2012年3月22日,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。

哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”

为了让政府掌握的海量数据得到充分的利用,近年来,以美国为首的西方发达国家发起了“政府数据开放”运动。

2009年5月,美国奥巴马政府为了增加政府资料透明度,设立公开资料网站“Data.gov”,而英国政府也在2010年1月开始运行“data.gov.uk”网站。目前,全世界已经正式建立数据开放门户网站的国家和地区共35个。

2010年11月,欧盟委员会首次提出“欧盟开放数据战略”,旨在将公共部门搜集和产生的原始数据通过再利用成为数以万计ICT用户依赖的数据材料,希望借此让欧洲企业与市民能自由获取欧盟公共管理部门的所有信息,并计划在2013年建立一个汇集不同成员国以及欧洲机构数据的“泛欧门户”。

2011年,美国、英国、巴西、挪威、墨西哥、印尼、菲律宾、南非等八国宣布成立“开放政府联盟”(OGP),并发布《开放政府宣言》,宣言说:“政府代表人民收集并保存了各种各样的信息,人民有权利获取关于政府活动的各种信息。我们承诺:用可以重复使用的格式,及时主动地向社会开放高质量的信息,包括原始的数据。”

2011年12月,美国联邦政府宣布将和印度政府共同合作,把现有的Data.gov改造成开源平台,在2012年开放全部的平台代码,源代码发布之后,全世界任何国家都可以免费引进、使用及修改美国的数据开放平台,印度将率先移植Data.gov,作为其中央政府的数据开放平台。


理解大数据的核心:数据化


根据大数据研究专家维克托·迈尔-舍恩伯格的看法,想理解大数据,先要区分“数据化”和“数字化”这两个概念。数据化的核心,简单地说,就是“量化一切”,将许多看似与数据无关的事物,转化成可以量化的数据模式。比如,通过用传感器将一个人的坐姿数据化,就可以让汽车座椅“认出”乘坐者的身份,从而防止车辆被盗;另外一个与汽车有关的可能的用途,则是分析出坐姿和行驶安全之间的关系。

在这个意义上,世间万物都可以被“数据化”。你可以借助科幻电影《黑客帝国》里的画面来理解这样一个世界:一切都是用数据构成的。

关于大数据的意义,维克托指出,大数据时代的来临,使人类第一次有机会和条件,在非常多的领域和非常深入的层次获得和使用全面数据、完整数据和系统数据,深入探索现实世界的规律,获取过去不可能获取的知识,得到过去无法企及的商机。而这也就是大数据的核心:挖掘出庞大的数据库独有的价值。谷歌公司的无人驾驶汽车项目,近来引人关注。很多人相信,像无人驾驶汽车这样的大数据项目,将会越来越多地进入到我们的日常生活,从很多方面改变人类社会的面貌和运行方式。而更重要的是,我们将不得不结束过去普遍依靠经验和直觉来做出决定的习惯,而转向依赖机器提供的数据。

北京邮电大学的刘知青教授认为,大数据智能是对人类活动的海量数据进行获取、导出、传输和分析,并进行采样、探索、反馈和利用,通过大规模智能计算,产生超越个体人类的智能。通过在数据的海洋中畅游,机器也变得越来越“聪明”,日益拥有更强的认知、学习和判断能力。

这对人类来说,福兮祸兮?

大数据当然不是一切问题的最终答案,它甚至在向人们提出新的挑战。正如维克托所说:大数据是一种资源和一种工具。它的目的是告知,而不是解释;它意在促进理解,但仍然会导致误解——关键在于人们对它的掌握程度。我们必须以一种不仅欣赏其力量,而且承认其局限的态度来接纳这种技术。

责任编辑:尹俊国

会员注册 已有账号?
昵称(*):
邮箱(*):
密 码(*):

确认密码: