支持AJAX的网络爬虫设计与实现

摘要

分析了Web2.0网络的网络爬虫面临的新挑战,对目前学术界出现的多种实现方案和策略进行了全面的综述,提出了AJAX爬虫的设计并加以实现,最后进行了实验验证,验证了这种AJAX Crawler能够很好地获取AJAX的动态页面,并与普通的爬虫在下载速度方面进行了对比。

关键词