学堂在线MOOC课程的数据爬取与统计分析

作者：翟曜; 李芬芬; 张正伟; 刘俊; 王雨豪

来源：电脑与电信, 2019, (09): 33-35.

DOI：10.15966/j.cnki.dnydx.2019.09.010

• 数据爬取
• 数据分析
• 学堂在线 crawling data
• data mining
• XuetangX

网上学习逐渐成为新的学习潮流,但各种各样的课程纷繁复杂。因此针对MOOC学堂在线网站,爬取相关数据进行研究分析,得出可以供更多学习者参考的学习建议。本次设计采用自行设计的爬虫结构,爬取采用了request,chromedriver+selenium 3.0库两种形式分别对静态网页以及动态网页进行爬取。标签数据分析库对爬取下来的数据进行分析,提取出想要的数据并对异常数据进行清洗。利用pandas,numpy对数据进行处理,处理完的数据采用matplotlib进行绘图。最后采用MySQL8.0对数据进行存储及处理,通过对数据的处理及作图比较,发现在学堂在线网站上的课程类型、学生数等特征之间存在一些...

• 单位
  淮阴工学院