■ 您当前所在的位置:网站首页>>咨询服务>>研究报告

专家观点参考-3期

发布时间:2015年08月19日

【发布时间:2015-08-19】 【来源:中国通信学会调研咨询部】
 

2015526-29日,由贵阳市人民政府等主办、中国通信学会等单位承办的2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会在贵阳国际生态会议中心开幕。会上,中共中央政治局常委、国务院总理李克强向数博会发来贺信,国务院副总理马凯出席会议并作重要讲话,工业和信息化部副部长怀进鹏在会上作报告,中国工程院院士及国内外多名专家就大数据发展现状,发展存在的问题阐明观点,提出建设性建议。

为促进大数据在学科、技术、应用上有重大突破,中国通信学会承办了“大数据学术论坛”,以“融合  跨界  基础  突破”为主题,就大数据主流技术、安全隐私、跨界应用、学科融合、大数据分析等方面开展深入交流共商,汇聚了国内外大数据行业知名专家、科研院所专家们的最新学术成果和真知灼见。

一、大数据发展已达共识,需加速构建产业生态环境

专家普遍认为:大数据的快速发展与应用,对我国经济、政治、社会、科技、文化及百姓的生活产生了深刻的影响。大数据是信息资源的应用革命,大数据提供的数据不仅是信息产生的重要生产资料,而且是数字经济血液,是国家战略资源。一些国家的政府、企业敏锐地认识到大数据将带来新的发展机遇。大数据正在以其低成本为政府和企业提供实时信息服务,在促进其发展方面起到了巨大作用。

专家指出:大数据在全球范围得到了非常高的关注。大家都敏锐地认识到大数据的发展机遇,特别是大数据将为政府、企业和每个人带来的新机遇,将促进经济等各方面快速发展。在贵阳发表了《大数据贵阳宣言》说明目前大家对大数据发展形成了一个共识,我国以数据为核心的大数据产业生态环境正在加速构建。

二、全球高度重视城市大数据开放,我国数据开放程度仍远不及世界发达国家

全球高度重视城市大数据开放。美国开放数据(Data.Gov),2009年至今,已经开放数据超过10万份,涉及领域包括能源、教育、经济、消费等20多个。美国开放政府计划(Open Government Initiative),涉及政府部门29个。截至20104月,所有政府部门均公布了开放政府计划的实施路线图。英国开放数据计划(Open Data Initiative),设立开放数据学院,针对开放数据在商业及学术中的应用研究。澳大利亚Government2.0将海量非敏感部门信息变成国家信息资源。新加坡国家数据平台(Data.Gov.Sg)提供数千种不同领域的数据应用。20136月,八国集团首脑在北爱尔兰峰会上签署《开放数据宪章》,承诺在2013年年底前,制定开放数据行动方案,最迟在2015年进一步向公众开放政府数据。

目前,全球参与开放数据的国家,既包括美国、英国、法国、加拿大等发达国家,也包括印度、巴西、阿根廷等发展中国家,也包括联合国(UN)、欧盟、经济合作与发展组织(OECD)、世界银行(WB)等国际组织。美国、欧盟、新加坡等国家高度重视国家数据平台的建设。

专家认为:“以用户需求为中心,全面整合行政服务资源和社会服务资源;政府转化为平台搭建者和管理者,降低了管理成本,提高了服务水平。目前,我国城市相关数据呈现高度分散性和封闭性。我国智能城市政府数据开放能力亟待提高。2013年,开放知识基金会发布了2013年的开放政府数据普查结果,英国、美国、丹麦、挪威等发达国家领先全球。我国在70个国家中排名第35位,数据开放程度仍远不及世界发达国家。”

三、大数据为智能城市提供强大的决策支撑,促使城市管理从“经验治理”转向“科学治理”转变

全球网络数据快速增长,移动增长尤其强劲。2010年到2011年,全球互联网流量增长了2倍,按此估计10年后,全球互联网将增长1000多倍。预计2018年,全球固网流量将达到86 409 PB,年均增长20%2014年第一季度全球移动数据流量超过2011年全年。2014 Q1移动端数据流量比2013Q1增长65%2019年,智能终端产生流量将是201310倍。

中国工程院刘韵洁院士在题为“大数据在智能城市建设中的应用前景”的报告中,深度分析了大数据对于智能城市建设的重要性。智能城市建设带来网络数据爆发式增长,网络大数据遍布智能交通、智能医疗、智慧生活等各个方面,大数据为智能城市的各个领域提供强大的决策支撑,城市管理正在从“经验治理”转向“科学治理”转变。

智能城市当前应重视解决城市发展中面临的最迫切、亟待克服的问题,使城市可持续、和谐发展,真正体现以人为本的核心理念。大数据是智能城市建设的基础,要重视政府数据的开放,以及大数据产权的界定、保护。城市大数据的开放,可以提高政府透明度,提升政府治理能力和效率,更好地满足公众需求,促进社会创新,带动经济增长。

四、完善大数据交易规则,构建开放、合规的数据资源流通生态

信息化正在全面进入广泛感知、深度分析、智慧决策的DT时代,目前处于以数据的深度挖掘与融合应用为特征的智慧化阶段。大数据加速人工智能发展,人工智能在大数据的支撑下取得快速进展,基于大数据的人工智能成为技术制高点。

大数据成为促进经济转型增长的新引擎,大数据拉动GDP 2%4%,外部价值受到各国重视。各国纷纷出台大数据国家战略。美国认为大数据事关国家竞争力,出台开放数据、资助研发、带头应用等一系列综合举措加以推动。2014年,欧盟出台数据驱动经济战略;2013年澳大利亚发布了公共服务大数据战略;新加坡建设数据地平线平台(RAHS)进行数据治国;2014年,中国发改委牵头联合相关部门正在制定大数据战略与行动纲要。

大数据产业活跃,正围绕数据形成新的产业生态。云服务商成为大数据处理服务提供商的主体。在线的大数据处理云服务将成为主流,云服务提供商拥有数据和平台,将成为服务主体。

大数据资源提供商应运而生,交易市场萌芽。数据交换共享的需求推动大数据资源供给、流通和交易出现。数据是大数据的基础和核心,多来源数据的交叉分析产生重大价值,大数据流通是发展的必然产物。数据开放是一种交易,是隐蔽的。大数据交易规则需要完善,包括产权界定、交易规则、定价机制、转售控制、隐私保护等,要遵循基本的信息原则。

大数据发展面临的挑战:大数据资源的“无序”和“死锁”两个极端;黑市交易无序流动,数据黑市猖獗,个人信息外泄严重,数据资产权益不清,资产得不到有效保护;另外,数据冻结无法流动,处于“死锁”状态,政府数据开放程度低,有数据的企业不敢开放,合法机构难以获取稳定的数据源,规范正当渠道的业务发展受阻。呼吁构建开放、合规的数据资源流通生态。

大数据应用,互联网和政府两头热。大互联网企业热,腾讯、阿里巴巴、百度等采用大数据云服务RTB广告网络,在大数据营销方面,出现了一批DSPAdExchSSP公司;企业应用冷,一般企业大数据应用冷淡,电信、金融尝试,其他行业进展缓慢,面临内部数据孤岛、外部数据短缺、技术人才不足、法律合规性差等主要障碍;政府部门热,中央采取大数据提升政府治理能力,地方政府针对数据中心招商引资。

呼吁加强大数据在数据开放、产业布局、技术创新、法律法规等方面的顶层设计,如不能加快大数据关键方法、技术和系统的研发,积极构建大数据应用和技术相互促进的正反馈环,有可能陷入新的空心化、低端化窘境。

技术专家认为:“从数据大国到数据强国的建议是资源方面,开放政府资源,从已开放数据的整合加工开始逐步扩大范围和深度;制度方面,加强隐私与数据保护,完善配套技术标准,加强行业自律;产业方面,通过技术研发培育产业,借开源模式提升安全可控水平;应用方面,加强政府和公共领域的应用,政府自用提升效率,政府采购拉动产业。”

五、数据爆炸式增长对存储系统提出了新要求

随着物联网、云计算和大数据的到来,以“数据为中心、存储为中心”已经成为重要发展趋势。存储是影响计算机系统性能的关键因素,是“数据→信息→知识→智慧”整个链条的重要载体,数据爆炸式增长对存储系统也提出了新的要求:高可用,数据能够随时访问,不丢失;低成本,对磁盘容量要求低;高性能,访问速度要快;低开销,对CPU、网络资源占用少。高可用和低成本是主要目标。

技术专家提出了:如何在保证数据高可用性的同时,又最小化存储容量需求?需要重视大数据的几个关键技术。

第一,达到高可用性的关键技术。使用多副本技术提高数据的可用性和性能,当一个副本失效,系统自动进行数据的重分布,尽快恢复成3个副本,多副本不仅带来可用性上的好处,也带来了性能上的性能。

云存储,通过互联网随时随地为用户按需提供稳定可靠、可扩展的数据在线读写服务。云存储系统的挑战是广泛分布的全球一致性访问性能;按需提供的云存储系统的高可扩展性。云存储系统主要创新是:提出了基于多数据中心的云存储体系结构及实现方法,通过数据条带花放置策略、多客户端无中心协调机制等系列优化方法,为用户提供高效能的全球一致的数据在线访问服务;提出了基于社区(具有真实社会关系的群组)的数据共建共享和用户良性互动机制,为云存储用户的数据建设、存储、共享、备份等提供统一的使用方式。与原有系统服务质量相比,全球9个不同城市获取8个不同 服务商提供的云存储数据的平均读延迟降低了50%70%

存储容灾系统。存储容灾是在灾难导致信息系统损坏后,实现关键数据恢复和生产系统重运行所采用的技术方法,面临的挑战是克服容灾实现技术与受保护软硬件环境的相关性,达到共享容灾设施的目的;如何减少备份的数据量以及缩短灾难恢复的时间。存储容灾系统主要创新在于:提出一种结构无关的容灾备份与快速恢复方法并实现了容灾系统BIRDS,以统一 逐一建设方式构造容灾系统,大幅降低容灾成本并实现了出现灾难后的即使恢复。传统容灾技术仅仅备份和恢复数据,不涉及内存与处理器状态的备份恢复,无法做到独立于具体应用环境。传统容灾技术中,故障恢复技术成本远低于故障切换技术,易于实现容灾设施共享,且恢复点可选择,但恢复效率相对较低。

第二,达到低成本的关键技术。存储删冗技术成为研究热点,存储界近年的收购集中在删冗领域。分布式RAID技术和冗余删除的简单组合不能解决问题,两个技术在块大小的选取、块长是否可变、编码时机、编码范围、数据块的摆放等设计决策方面有冲突,采取系统化地将数据块可用性和冗余删除技术统一考虑。

第三,达到高性能的关键技术。存储阵列扩展方法的主要创新在于:发现并证明了存储阵列扩展过程中的可序窗口特性,提出了一种高效扩展方法ALV,在保证数据一致性的同时,有效提高了扩展过程中的数据迁移效率。还提出了一系列存储阵列高效扩展方法,与现有方法保持数据循环分布不同,在保证各盘之间数据均匀分布的同时,最小化了阵列扩展所需的数据迁移量,显著提升了存储阵列的扩展效率。

分级存储及其测试方法的主要创新在于提出了一种基于标准接口的数据管理方法,利用数据访问特征和设备使用状态,进行高效的数据操作,具有高性能、低开销和易扩展等特性。还提出了一种分级存储系统性能测试方法,能够提供真实的文件系统状态和与真实应用场景相符合的访问负载,解决了已有分级存储测试方法可信度低的问题。

六、“大数据”需要新处理模式才能成为信息资产

部分专家认为,“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。虚拟世界和物理世界融合是大数据的原动力。大数据会对用户体验和生产效率产生颠覆影响。跨领域的数据关联整合才能迸发出真正活力。行业大数据的机会把握技术要点是“以用户为中心,时空为主线,建立全量数据模型”。

还有部分专家认为,企业信息化的日臻成熟、社会化网络的兴起,以及云计算、移动互联网和物联网等新一代信息技术的广泛应用,全球数据的增长速度之快前所未有、数据的类型也变得越来越多。一方面其中蕴藏的巨大商业价值引发了对于数据处理、分析的巨大需求;另一方面海量的多样化数据对信息的有效存储、快速读取、检索也提出了挑战。

为应对技术革命带来的机遇和挑战,美国把大数据提高到国家战略层面,形成了全体动员的格局。中国《“十二五”国家战略性新兴产业发展规划》提出支持海量数据存储、处理技术的研发与产业化。2013年中国大数据仅IT应用市场规模就达到了34.3亿元,展现了良好的增长势头。

 

中国通信学会调研咨询部提供