ScholarMate
English简体中文繁體中文
客服热线:400-1616-289
登录注册
期刊论文

基于Hadoop的分布式集群大数据动态存储系统设计

陈磊; 吴晓晖武汉工程大学
中国电子科学研究院学报2019DOI: 10.3969/j.issn.1673-5692.2019.06.007
8阅读
引用收藏
分享

摘要

由于大数据计算需求逐渐增大,数据存储需求也逐渐增长,传统集成式大数据存储系统未能合理均衡存储服务器负载情况,导致系统存储效率低,易出现系统崩溃状况.针对该问题,设计基于Hadoop的分布式集群大数据动态存储系统.首先,通过中央控制集群获取用户需求;然后,通过高速以太网连接模块下达采集指令至大数据采集集群,大数据采集集群受中央控制集群的调度,快速采集动态数据并定期把缓存数据导入大数据永久存储集群中,实现数据定期存储更新;最后,采用改进动态负载均衡算法均衡系统存储服务器的负载情况,获取综合指标参数值,将最大参数值的服务器存储动态数据.经验证,所提设计系统的存储响应速度快、存储耗时短,负载均衡性能优.

学科与关键词

关键词
Hadoop分布式集群大数据动态存储负载均衡
相关
加载中…
  • 基于Hadoop的工业大数据存储分析系统
    范旭辉*科技创新与应用, 2020, (23): 18-20+24.
  • 基于参数优化的Hadoop云计算平台
    李寒; 唐兴兴计算机系统应用, 2013, (03): 21-24.
  • Hadoop在数据挖掘中的应用研究
    李校红; 张秀芳新技术新工艺, 2015, (04): 97-99.
查看全部 →

发表信息

论文状态
公开发表
期刊
中国电子科学研究院学报
发表日期
2019
卷期
第 14 卷, 第 6 期
页码
593-598
DOI
10.3969/j.issn.1673-5692.2019.06.007
成果收录
WANFANG
资助标注
湖北省自然科学基金项目(2015CFB451)

作者

  • 陈

    陈磊 (第一作者)

    武汉工程大学

  • 吴

    吴晓晖

登录解锁更多功能

  • 收藏这篇,随时在“我的 · 收藏”找回
  • 认领你的成果,生成推广素材
  • 关注作者获取最新成果
  • 加入项目组、协同写作
注册 / 登录

产品服务

  • 科研之友
  • 创新城
  • 科创云

服务支持

  • 帮助中心
  • 隐私政策
  • 服务条款

联系方式

在线客服:【】
客服热线:400-1616-289
电子邮箱:support@scholarmate.com

关注或下载科研之友

微信二维码
微信公众号
客户端下载二维码
下载客户端
科研成果科研人员科研机构科研动态爱瑞思软件

©2026 深圳市科研之友网络服务有限公司

公安备案图标粤公网安备 44030502000213
粤ICP备 16046710 号粤B2-20110417