摘要
由于大数据计算需求逐渐增大,数据存储需求也逐渐增长,传统集成式大数据存储系统未能合理均衡存储服务器负载情况,导致系统存储效率低,易出现系统崩溃状况.针对该问题,设计基于Hadoop的分布式集群大数据动态存储系统.首先,通过中央控制集群获取用户需求;然后,通过高速以太网连接模块下达采集指令至大数据采集集群,大数据采集集群受中央控制集群的调度,快速采集动态数据并定期把缓存数据导入大数据永久存储集群中,实现数据定期存储更新;最后,采用改进动态负载均衡算法均衡系统存储服务器的负载情况,获取综合指标参数值,将最大参数值的服务器存储动态数据.经验证,所提设计系统的存储响应速度快、存储耗时短,负载均衡性能优.
学科与关键词
关键词
Hadoop分布式集群大数据动态存储负载均衡
- 基于Hadoop的工业大数据存储分析系统范旭辉*科技创新与应用, 2020, (23): 18-20+24.
- 基于参数优化的Hadoop云计算平台李寒; 唐兴兴计算机系统应用, 2013, (03): 21-24.
- Hadoop在数据挖掘中的应用研究李校红; 张秀芳新技术新工艺, 2015, (04): 97-99.
