打开文本图片集
摘要 设计了云计算环境下气象大数据服务框架，该框架设计的气象服务主要包括气象业务服务、气象科研服务以及公共气象服务。MapReduce分布式处理技术可以有效地进行分布式处理服务，是提供气象大数据服务的基础计算架构。基于MapReduce对上海宝山站气象日值数据（2013年1～12月）进行了气温以及降水量统计，并给出了相应示例。云环境下气象大数据的应用研究可以提升整体气象业务服务水平，加快各地气象部门资源整合与资源共享的步伐，同时对于加快“大数据时代”气象信息化进程具有重要作用。
关键词 云计算；气象大数据；气象服务；Hadoop；MapReduce
中图分类号 S126 文献标识码 A 文章编号 0517-6611（2016）05-298-04
Abstract This paper designed the framework for the services of meteorological data in cloud computing. The framework mainly included weather business services， meteorological research services and public meteorological services. The distributed processing technology MapReduce could be effectively processed services distributed. And also it was the infrastructure for the meteorological data services. This paper did some statistics on the temperature and precipitation based on the meteorological log data of Shanghai Baoshan Station（from January 2013 to December 2013） by using the technology of MapReduce and gave the corresponding examples. The research on the services of meteorological big data in cloud computing could promote the whole meteorological service level， speed up the pace of the local meteorological department resource integration and resource sharing， at the same time play an important role in promoting the informationization of the “big data era”.
Key words Cloud computing； Big meteorological data； Meteorological services； Hadoop； MapReduce
随着气象信息化进程的不断加速，气象行业内部累积的历史气象数据不断增加。目前，我国国家气象局保存的气象数据总量达到PB级，且每年新增加的数据量也接近PB级[1]。气象数据包含丰富的数据种类，包括地面观测、卫星、雷达和数值预报产品等不同种类的观测和气象产品数据，且通常通过观测站点收集。目前，我国拥有自动监测站点50 000余个、地面气象观测站点2 000余个以及其他各类观测站点千余个[2]。由这些气象观测站点所采集的历史数据以及实时气象数据构成了气象大数据。
气象大数据蕴含丰富的应用和研究价值，可以提供各类气象服务，包括气象部门内部业务服务、科研服务和公众服务等。气象部门内部业务服务主要指针对气象部门工作人员提供的各种服务，如气象数据查询、预报产品制作、气象数据入库等功能[3]；而气象科研服务主要指利用气象大数据进行数值分析、气象灾害风险评估等升值服务功能[4-6]；公共气象服务主要指对气象观测大数据进行处理和分析，进而惠及人们日常生产、生活以及其他行业，包括海洋、农业、交通等。目前对大数据管理、高可靠存储、分析、处理以及检索等面临着着巨大的技术挑战。
云计算技术可以为气象大数据服务提供技术支撑。由于云计算弹性计算、虚拟化、按需服务、异地灾备、分布式存储与处理等技术特性，越来越多的用户选择将应用部署到云平台上。美国国家标准与技术研究院（National Institute of Standards and Technology，NIST）将云计算定义为“云计算技术可以通过互联网以便利的、按需服务、按需付费的方式获取资源（计算、存储和网络带宽等），这些资源可以通过互联网快速获取和释放”[7]。而开源云平台技术Hadoop的出现为构建气象行业内部的“私有云”或者“专有云”提供了技术支撑。Hadoop的分布式处理模型MapReduce模型可以有效地支持海量气象数据分析与处理；而分布式数据库HBase支持海量气象数据的索引。
云计算环境下气象大数据的应用研究可以提升整体气象业务服务水平，加快各地气象部门资源整合与信息共享的步伐，同时对于加快“大数据时代”气象信息化进程起着重大作用。笔者基于MapReduce对上海宝山站气象日值数据（2013年1～12月）进行了气温及降水量统计，并给出了相应示例。
1 云计算环境下气象大数据服务框架
1.1 气象大数据特征分析
为了提供气象大数据服务，需要判断气象数据的大数据特征。大数据通常具有体量（Volume）大、数据种类繁多（Varity）、数据需求处理速度（Velocity）快、数据价值（Value）高的基本特征[8-9]。
当前气象行业累积海量的数据，数据体量已经达到了PB级，具有大数据的Volume特征；气象数据种类繁多，包括各类结构化和非结构化的数据，满足大数据的Varity特征；气象数据的采集过程通常是逐天逐小时甚至到逐分钟发生的，气象行业数据增长速度飞快，因此处理速度需求也与日俱增，满足大数据的Velocity特征；而且气象数据的处理、分析与深入挖掘，有助于气象行业内部的服务，如预报、预警等，因此气象数据满足大数据的Value特征。
气象数据满足大数据的4V特征，因此如何高效地存储、处理气象大数据已成为急需解决的问题[10]。云计算技术可以为解决上述问题提供技术支撑，有助于开发和实现高效的气象大数据服务，进而更好地提升气象业务服务水平。
1.2 气象大数据服务框架
我国气象行业中，气象区域中心分布着大量的硬件设施，包括高性能计算机以及常规存储服务器、网络通信设施等。将这些基础设施通过云计算技术进行整合，进而构成气象行业专有云，其部署示意见图1。气象行业大数据服务框架可以基于该气象行业专有云进行部署。
基于上述描述，该研究设计了云环境下的气象大数据服务框架（图2）。该框架主要包含5个层次。
（1）基础设施层。基础设施层主要用于存放和处理气象大数据的物理设施，包括主机、存储、网络设备、照明系统、制冷系统以及数据中心场地等。在云计算环境下，需要对原有的基础设施层硬件进行云化处理，形成基础设施资源池，并且基础设施池的计算资源和存储资源可以动态伸缩地提供给气象内部业务人员和科研人员使用，以实现资源的整合，大大提高资源利用率。
（2）平台层。
平台层主要是利用云计算中的主要技术在基础设施层的基础上实现平台的搭建。可以使用Hadoop分布式文件系统实现分布式文件冗余存储；使用分布式数据库HBase实现动态气象大数据分布式数据索引；使用分布式计算模型MapReduce实现数据并行计算；使用数据仓库Hive实现静态气象数据的存储与便捷索引。平台层搭建完成后，能够为应用层提供技术支撑。
（3）应用层。
应用层主要利用平台层提供的软件工具进行应用的开发（存储与数据处理相关），主要包括站点监控等功能、云平台监控与管理、气象服务。站点监控主要是对气象监测点以及监测设备进行管理和监控，包括站点信息管理、设备信息管理、数据源状态监控等；云平台监控与管理主要对区域气象数据中心的服务器节点进行动态监控与管理，包括节点管理、能耗监控、节点信息管理等；按照不同的应用需求提供气象服务，包括部门业务功能（数据查询、数据审核、数据入库等）、预报产品制作、公共气象服务（产品发布、灾害预警等）、科研服务（数值预报等）。
（4）大数据服务层。
大数据服务层主要根据应用层开发的不同种类应用提供气象大数据服务。如站点监控与云平台监控这2个功能，主要利用基于HBase的实时数据检索为气象部门提供气象业务服务；而数值预报与预报产品的制作可以利用分布式数据处理模型MapReduce进行气象数据分布式处理，进而提供气象科研服务以及公共气象服务等。
（5）用户层。
气象大数据服务的用户主要包括气象行业内部人员（业务部门）、气象科研人员（科研部门）、相关行业人员（其他行业）。气象行业内部人员可以通过气象行业内部网络访问气象大数据服务；气象科研人员通过互联网获取部分权限数据；而相关行业人员可以通过互联网获取相关预报产品。
2 基于MapReduce的气象大数据服务示例
2.1 MapReduce处理技术
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（归约）”是其主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的。他极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上[11]。气象大数据可以利用MapReduce进行并行处理（图3）。MapReduce对输入数据处理之前，将输入数据划分为同等规模的数据片；再通过MAP处理（创建MAP任务）每个分片中的数据信息；然后对所得到的数据结果进行REDUCE操作（创建REDUCE任务），得到处理结果，进而得到最终的输出。
2.2 基于MapReduce的气温与降水量统计示例
以中国地面国际交换站气候资料日值数据为处理对象，在处理前保存在HBase数据库中。为了获取相应的气象显示服务，利用MapReduce计算模型对气象日值数据进行处理、分析。在分析统计前，通过对试验对象分析，可以得出对气温和降水量的分析统计具有实际意义。通过月统计站点的最高气温、最低气温、最高平均气温、最低平均气温和降水量，可以清晰地观察到站点的历史气温和降水量变化情况，对预测未来气温和降水量的变化具有参考作用。
气象数据分析统计方法逻辑流程见图4。MapReduce计算模型能够分布式处理存放在HBase表中的气象数据。多个Map任务将并行的读取气象数据记录，输入Map任务中的数据为{key，value}对。其中key为行键，value为行键对应的一行数据。经过Map任务的处理将生成新的{key，value}对，作为Reduce任务的输入。Reduce任务处理后会将逐月信息写入到结果文件中，将结果文件中的逐月信息解析导入到关系型数据库MySQL中。利用MySQL的SQL语句和相关函数，统计得到逐年信息。
MapReduce操作后，上海宝山站2013年1～12月的气温统计分析以及降水量统计分析见图5、6。通过该示例，可以发现MapReduce能够有效地支撑气象大数据服务。
3 小结
气象大数据服务为气象行业工作者提供了气象服务的方向和目标，也是国家信息化进程中的一个重要分支。利用气象大数据制作气象服务产品可以惠及人们日常生活的方方面面。MapReduce分布式处理技术可以有效地适用于气象大数据的处理与分析。该研究设计的云环境下的气象大数据服务框架为气象行业大数据服务奠定了基础。云环境下气象大数据的服务与应用可以加速气象行业信息化进程，加速气象部门信息共享，提高气象部门气象服务能力，有效提升公众对于气象服务的满意度，因此应是今后气象服务的重中之重。
参考文献
[1]沈文海. 气象数据的“大数据应用”浅析——《大数据时代》思维变革的适用性探讨[J].中国信息化， 2014， 30（11）： 20-31.
[2]张蕾， 杨勇， 湛莹莹. 气象“云”气象万千[N].贵州日报， 2014-03-26（9）.
[3]潘文伟.基于.NET的气象业务服务平台构建[D].上海：复旦大学， 2010.
[4]张振涛， 张正文， 陈宇，等.基于天气事件的公共气象服务产品制作系统[J].应用气象学报， 2014， 25（2）：249-256.
[5]于庚康， 申双和， 罗艳，等.基于江苏省公众气象服务效益的分析与研究[J].气象， 2012， 38（12）：1546-1553.
[6]张军.交通气象服务系统的设计与实现[D].北京：中国地质大学（北京）， 2014.
[7]颜斌.云计算安全相关标准研究现状初探[J].信息安全与通信保密， 2012（11）： 66-68.
[8]赵蓓.大数据时代对气象服务的推动[J].考试周刊， 2014（33）：195-196.
[9]李文， 马勇杰.大数据时代的气象服务应用研究[J].河南科技， 2014（18）：175.
[10]付伟铮， 巴洪连， 任爱胜.大数据时代农村信息服务的实例研究[J].农业网络信息， 2014（11）：5-10.
[11]MapReduce[EB/OL].[2015-12-20].http：//baike.baidu.com/link？ url=C-d6ofwPnUOCONXAditXb5mFYO9HHyu0kZuFVBO8YFG4mT BytzOyYOihtXbUdDQQAz5vOnvsb4cGaAXZ7SM1fq.