ScholarMate
客服热线:400-1616-289

水文大数据共享平台研究与设计

陈华; 徐坚; 肖志远; 杨家伟; 陈杰; 郭生练; 许崇育
万方
长江水利委员会水文局; 武汉大学

摘要

本文根据水文数据的特点探讨了水文大数据标准化方法,探索数据预处理、数据索引、数据高效存储等水文大数据共享平台关键技术;利用Hadoop对多源异构数据的海量存储能力及高速计算能力,研究基于MapReduce的水文大数据分布式数据处理模型,设计和实现水文大数据共享平台,为水利及跨行业跨部门的信息共享、空间集成,以及跨学科的可持续发展研究提供技术支撑。

关键词

大数据 水文数据共享 分布式文件系统 分布式数据库