首页 > 论坛 > 科普博客 > 正文

大数据改变世界

2014年06月13日    来源:科学出版社     
1584

  

    加速器、望远镜、卫星、传感器网络、超级计算机、医疗成像设备、DNA测序仪、智能移动终端、互联网应用、计算模拟等设施和活动正在快速产生着海量的数据,几乎每个学科领域都经历着数据爆炸。变化不可避免,科学研究的方法正在被数据洪流所影响,以数据为中心思考、设计和实施科研活动,通过对海量数据的处理和分析来获得科学发现的第四范式已经出现,并日渐成为一种普遍的科学研究模式。

  在这里,我们将能够看到高能物理、天文学、空间科学、地球科学、生物学、社会计算、经济管理与金融研究等学科领域的大数据现象和科学研究方法在大数据背景下的变化。大数据和新的研究方法对数据传输、存储、管理和分析技术,以及数据基础设施和政策法律等带来了诸多挑战。同时,我们还可以看到上述学科领域对其中的一个或多个方面所提出的挑战和(或)需求,以及人们为应对挑战所做出的有关努力。

  随着高能物理实验规模和复杂度的不断增大,高能物理领域的数据急剧膨胀,推动高能物理成为一个典型的以数据密集型为特征的学科。实验通常产生海量的数据,如大型强子对撞机(LHC)每年产生的原始实验数据达到十几PB。对海量高能物理实验数据进行处理、分析后,才能理解和掌握基本粒子的物理规律。对实验数据的处理和分析又会产生出更多的数据,如对LHC每年的原始实验数据进行处理和分析产生的数据达到几十PB。这给数据的存储、管理和分析处理带来了极大的挑战。国内外高能物理领域的科学家根据该领域数据处理的特点应用和研发了新的技术,推动了相关技术的发展。

  从20世纪90年代后期起,观测技术的进步和各种大型巡天项目的出现使得天文学领域经历持续的数据爆炸,进而推动了天文学从一门观测性科学转变成一门数据密集型科学。多波段数据的融合、海量复杂数据的分析和挖掘已成为当今天文学研究的重要方法。

  随着空间探测手段的发展和大规模空间计划的推进,空间科学领域进入了大数据时代,同时其研究对象也变得空前复杂化。这促使空间科学的研究方法发生了变化,逐渐从“猜测、推理、归纳、观测、验证”的传统研究方式转变为数据驱动的“观测、计算、挖掘、分析、验证”的研究方式,并呈现出多学科交叉和多元化合作的局面。研究问题的复杂化和研究方法的变化使得数据、模型、计算和知识等资源的广泛协作成为常见的需求。传统的各自独立的提供数据访问与下载服务的数据共享服务系统已经难以满足需求,空间科学领域的科研人员需要更强大的数据基础设施和应用环境,在其中可以方便地发现和使用相关研究机构所提供的资源。

  对地观测是从空间对地球表面进行观测,获取信息并研究其状态和变化过程的科学。采用以数据为中心的科学研究方法是对地观测研究的必然选择。在大数据时代,对地观测研究体现了数据密集型研究的全部特点,包括:海量遥感数据的获取、传输、存储、管理、处理分析和知识发现。观测平台和传感器的数据获取、天-空-地一体化的对地观测数据网络传输、海量数据快速处理、热点信息实时挖掘、多中心协同的信息反演、灾害预警和响应以及下一代空间数据基础设施和数字地球,都体现出了对地观测研究的数据密集型特点。

  随着大规模测序技术、组学技术的发展,生命科学进入了大数据时代。生物多样性信息学是一门在此背景下出现的数据驱动型新学科,它由生物多样性研究和信息技术交叉融合产生,既有着很强的实用性和应用前景,又面临着海量数据存储、管理、共享和分析处理上的挑战。面对海量多源的数据,标准规范、广泛的合作以及可在线共享和服务的算法与模型,对于生物多样性研究都是十分重要的。同时,生物多样性研究需要利用从海量数据采集到分析处理的一系列新技术(如移动技术、云存储和云计算、以MapReduce和Hadoop为代表的并行编程模式和技术、数据组织和发布、数据集成等)来提高采集、存储、管理、共享和分析处理数据的能力。

  微生物学作为生命科学的一个领域,也同样面临着大数据的冲击。对庞杂的数据加以收集、组织、整合、分析和挖掘,成为了微生物学研究的重要方法和手段,微生物学研究也正在从以数据为支撑向以数据为中心转变。

  可获取的生物医学数据量正在飞速增长。该领域数据量增长的几个关键因素是生物技术、医疗影像、电子健康档案和科技产出。生物医学数据增长的速度超过了进行数据分析以便给人类带来健康收益的能力。与此同时,数据的隐私保护问题在生物医学领域尤为突出,其不仅是一个技术问题,更是一个医学伦理与法律问题。

  得益于计算机技术和互联网络的发展,“个人的活动得到了前所未有的记录,为社会科学的定量分析提供了极为丰富的数据。由于能够测得更准、计算得更加精确,社会科学也正在脱下‘准科学’的外衣,在21世纪全面迈进科学的殿堂”。

  社会个体和群体的日常活动行为数据的爆炸为社会系统的实证研究带来了机遇。然而,由于数据的海量性、动态性和复杂性等因素,传统的社会学分析方法无法有效应对,在此背景下产生了“社会计算”这个将社会学理论与信息技术交叉融合的学科。社会计算致力于研究大数据环境下个人、组织和社会的交往方式和相互关系,及其对人类社会不同文化群体和社会结构所造成的影响。

  各种渠道积累的大量数据和数据驱动的分析方法正在彻底地改变政府、企业和消费者的经济行为模式。有人把大数据形容为未来世界的石油,有人宣称掌握大数据的人可以像上帝一样俯瞰整个世界,美国和欧洲等发达国家和地区已经将大数据和对大数据的开发利用能力提高到了国家科技战略的高度,我们有理由相信,大数据为我们带来了重大的机遇,基于对大数据的分析,我们能更好地理解世界,解决以前认为难以解决的或甚至认为不可能解决的很多科学问题,产生意料之外的科学发现。

[责任编辑:FL]
转载申明:中国智能化产业与产品网独家专稿,转载请注明出处,违者必究!

官方微信

联系我们

010-57188978
投稿:zgznhcy@ciiip.com
地址:北京市朝阳区劲松南路1号
网址:www.ciiip.com
关于我们
加为微信好友