ScholarMate
English简体中文繁體中文
客服热线:400-1616-289
登录注册
期刊论文

基于Hadoop的工业大数据存储分析系统

范旭辉*
科技创新与应用2020
5阅读
引用收藏
分享

摘要

工业大数据具有规模庞大、业务复杂等的特点,为数据存储、查询和分析计算带了难度。为了优化工业大数据存储管理,提高系统存储、查询、分析效率,利用基于Hadoop技术针对业务库和实时监控数据库的存储管理进行优化。系统设计业务库的集群化同步存储架构,基于Maxwell组件将MySQL业务库数据实时同步到HBase,实现业务库的读写分离、提高数据查询和数据分析的效率;其次,基于Kafka和Flink对业务库同步数据进行实时计算处理,实现高并发数据写入场景下的低延迟响应;最后,实验进行了HBase和MySQL的性能对比测试,结果表明本系统在大规模数据场景下具有更好的计算效率表现,能够有效进行工业大数据分析存储。

学科与关键词

关键词
工业大数据HadoopFlinkHBase
相关
加载中…
  • 基于Hadoop的鼓风机工业数据处理和存储系统
    邢少波; 张龙信; 赵玉来; 满君丰; 周立前湖南工业大学学报, 2019, (06): 15-22.
  • 基于参数优化的Hadoop云计算平台
    李寒; 唐兴兴计算机系统应用, 2013, (03): 21-24.
  • 基于Hadoop的分布式集群大数据动态存储系统设计
    陈磊; 吴晓晖中国电子科学研究院学报, 2019, 14(6): 593-598.
查看全部 →

发表信息

论文状态
公开发表
期刊
科技创新与应用
发表日期
2020
卷期
第 23 期
页码
18-20+24
成果收录
CHINAJOURNAL

作者

  • 范

    范旭辉 (通讯) (第一作者)

登录解锁更多功能

  • 收藏这篇,随时在“我的 · 收藏”找回
  • 认领你的成果,生成推广素材
  • 关注作者获取最新成果
  • 加入项目组、协同写作
注册 / 登录

产品服务

  • 科研之友
  • 创新城
  • 科创云

服务支持

  • 帮助中心
  • 隐私政策
  • 服务条款

联系方式

在线客服:【】
客服热线:400-1616-289
电子邮箱:support@scholarmate.com

关注或下载科研之友

微信二维码
微信公众号
客户端下载二维码
下载客户端
科研成果科研人员科研机构科研动态爱瑞思软件

©2026 深圳市科研之友网络服务有限公司

公安备案图标粤公网安备 44030502000213
粤ICP备 16046710 号粤B2-20110417