摘要
大数据时代下,人类社会的数据正以前所未有的速度增长。问卷调查法、访谈法等传统的数据收集方法,因样本容量小、信度低等局限已无法满足高质量研究的需求,相比较而言,编写爬虫程序获取到的海量数据更为真实、全面,在信息繁荣的互联网时代更为行之有效。因此编写爬虫程序成为大数据时代信息收集的必备技能。本文主要介绍爬虫原理、scrapy爬虫框架,并以歌词爬取为例,详细讲解使用scrapy爬取数据的步骤。
出处
《计算机光盘软件与应用》
2013年第17期79-80,83,共3页
Computer CD Software and Application
基金
"十二五"国家科技支撑计划课题(2011BAD13B11)
广东工业大学教学质量工程项目(402102283)
广东省特色专业(20102100)
