基于Python的网络爬虫设计与实现被引量：2

下载PDF

导出

摘要科技时代的进步,互联网中存在着大量的数据,采集有价值的数据进行分析是大数据时代最重要的部分。通过爬虫程序获取数据是一个快速有效的方式。介绍了Python爬虫爬取网络中不同数据,以及如何应对一些反爬虫技术。

作者温佐承侯帅

机构地区四川旅游学院

出处《电脑编程技巧与维护》 2020年第7期21-23,42,共4页 Computer Programming Skills & Maintenance

基金 2019年度四川旅游学院校级科研项目19SCTUZY03 2020年度四川旅游学院大学生科研项目2020XKZ62。

关键词数据 Python爬虫

分类号 TP391.3 [自动化与计算机技术—计算机应用技术] TP312.1 [自动化与计算机技术—计算机软件与理论]

引文网络
相关文献

参考文献5

1李骏,张鸽,纪海婷,于翔.Python在标准查新中的应用[J].科技创新与应用,2020,0(12):184-186. 被引量：6
2郭锋锋.基于python的网络爬虫研究[J].佳木斯大学学报（自然科学版）,2020,38(2):62-65. 被引量：13
3张艳,吴玉全.基于Python的网络数据爬虫程序设计[J].电脑编程技巧与维护,2020,0(4):26-27. 被引量：14
4刘海刚,胡曼冬.基于爬虫的失信人数据库建设研究[J].信息与电脑,2020,32(5):143-146. 被引量：1
5高艳.基于Selenium框架的大数据岗位数据爬取与分析[J].工业控制计算机,2020,33(2):109-111. 被引量：6

二级参考文献22

1李应.基于Hadoop的分布式主题网络爬虫研究[J].软件导刊,2016,15(3):24-26. 被引量：9
2杜彬.基于Selenium的定向网络爬虫设计与实现[J].金融科技时代,2016,24(7):35-39. 被引量：6
3陈琳,任芳.基于Python的新浪微博数据爬虫程序设计[J].信息系统工程,2016,29(9):97-99. 被引量：24
4黄菊.一种基于语义向量空间模型的作业查重算法[J].电子科学技术,2016,3(6):786-789. 被引量：2
5谢克武.大数据环境下基于python的网络爬虫技术[J].电子制作,2017,25(9):44-45. 被引量：50
6阮素梅,何浩然,李敬明.P2P借贷中借款人的违约风险评估——基于“人人贷”数据的实证分析[J].经济问题,2017(12):45-50. 被引量：10
7魏程程.基于Python的数据信息爬虫技术[J].电子世界,2018,0(11):208-208. 被引量：10
8Kevin.网络爬虫技术原理[J].计算机与网络,2018,44(10):38-40. 被引量：15
9姜文,刘立康.基于Selenium的Web软件自动化测试[J].计算机技术与发展,2018,28(9):47-52. 被引量：24
10吴寅恺,陈清萍.基于文本挖掘和网络爬虫技术度量我国系统性金融风险[J].江淮论坛,2018(5):70-75. 被引量：5

共引文献34

1张尚旻,阮湘辉.网络爬虫技术在基层平安建设中应用探索[J].数字技术与应用,2020,38(6):37-38. 被引量：2
2茹超超,孔子炯,徐士豪,路世禄,赵俊杰.基于Python爬虫技术的机场出租车排队论问题[J].电子元器件与信息技术,2020,4(4):41-42. 被引量：2
3居梓俊,邓居旺,孙建振,李东阳,黄翀鹏.基于Python和Hadoop的图书馆实时监控系统设计与实现[J].电脑编程技巧与维护,2020(8):20-22. 被引量：1
4申丽平.使用Python分析网站招聘信息[J].现代信息科技,2020,4(15):18-20.
5唐婷.基于Python的网络图片爬虫技术[J].信息与电脑,2020,32(18):176-178. 被引量：3
6李震.基于Python 的脸部皮肤健康度检测系统设计与实现[J].电子技术与软件工程,2020(18):54-55.
7温佐承,贾雪.基于Python的网络爬取[J].电脑编程技巧与维护,2020(12):23-24. 被引量：8
8刘薇,杨群,张国利,肖文涛.基层检验机构信息系统中标准管理及查新的应用实践[J].药品评价,2020,17(24):15-17.
9白红涛,彭苗,牛振涛,董得志,李镇东.爬虫技术在分布式能源站负荷预测中的应用[J].科学技术创新,2021(4):62-66. 被引量：2
10邓雅倩,刘元高.基于文本挖掘的情报分析系统的研究与设计[J].电子技术与软件工程,2020(23):169-173. 被引量：2

同被引文献8

1刘智慧,张泉灵.大数据技术研究综述[J].浙江大学学报（工学版）,2014,48(6):957-972. 被引量：478
2杜雷,辛阳.基于规则库和网络爬虫的漏洞检测技术研究与实现[J].信息网络安全,2014(10):38-43. 被引量：11
3谢克武.大数据环境下基于python的网络爬虫技术[J].电子制作,2017,25(9):44-45. 被引量：50
4田丽丽,赵颖.基于社会网络分析的学习者在线交互行为研究[J].软件导刊,2018,17(4):222-226. 被引量：7
5王芳.基于Python的招聘网站信息爬取与数据分析[J].信息技术与网络安全,2019,38(8):42-46. 被引量：20
6杜鹏辉,仇继扬,彭书涛,柴沣伟,刘意先.基于Scrapy的网络爬虫的设计与实现[J].电子设计工程,2019,27(22):120-123. 被引量：22
7黄岷昊,丁浪,张雪莲.基于Python的网络爬虫及文本可视化[J].电脑编程技巧与维护,2020(7):24-25. 被引量：7
8柴唤友,刘三女牙,康令云,张雅娴,李卿,刘智.教育大数据采集机制与关键技术研究[J].大数据,2020,6(6):14-25. 被引量：26

引证文献2

1陈皓,周传生.基于Python和Scrapy框架的网页爬虫设计与实现[J].电脑知识与技术,2021,17(13):3-5. 被引量：7
2高悦.基于网络爬虫和社会网络分析的哔哩哔哩用户关注行为研究[J].计算机应用文摘,2022,38(15):92-94.

二级引证文献7

1李华昱,付亚凤,闫阳,李家瑞.基于LEBERT的多模态领域知识图谱构建[J].计算机系统应用,2022,31(11):79-90. 被引量：3
2熊国梁,麦强盛.基于Python的国家社科基金项目爬虫的设计和实现——以贫困为主题的立项信息为例[J].信息与电脑,2021,33(9):181-184.
3汪邦博,胡必波,李满,刘丝雨,刘晓莉.基于Scrapy的大数据学情分析系统就业岗位数据爬取[J].电脑编程技巧与维护,2021(11):92-93. 被引量：5
4方锦文,童桦茜.基于Scrapy的招生信息专题搜索引擎研究[J].电子制作,2021,29(24):53-55.
5方锦文,许潼歆,何晋乐.高校信息整合平台前端设计与实现[J].信息与电脑,2022,34(8):111-113. 被引量：1
6杨孟姣,杜棋东.基于Python爬虫网站数据分析系统设计与实现[J].计算机时代,2022(11):81-83. 被引量：5
7郑灿伟,贺丹,罗嘉惠,李琼娜,潘泽松,钟颖棋.基于Scrapy框架的互联网招聘信息可视化技术研究[J].科技与创新,2024(6):6-10.

1张松,唐艳双,李怀宇.基于Go语言的数据分析技术在金融行业内部审计中的应用[J].中国内部审计,2020(6):46-51. 被引量：1
2高玉君,梁刚,蒋方婷,许春,杨进,陈俊任,王浩.社会网络谣言检测综述[J].电子学报,2020,48(7):1421-1435. 被引量：29
3王婷.电磁式流量传感器检测电路的设计及仿真[J].电子制作,2020,28(13):81-84.
4刘羽嘉,潘滨,李东泽,李凤迪,张迁,孙丰刚,兰鹏.民宿无人值守智能管理系统设计与实现[J].工程设计学报,2020,27(3):389-397. 被引量：2
5高婷,白如江.基于OutbackCDX的增量式Web信息采集研究[J].山东理工大学学报（社会科学版）,2020,36(4):99-105. 被引量：3
6万川梅,朱参世,唐宏.基于物联网的分布式通信数据高效压缩仿真[J].计算机仿真,2020,37(6):410-415. 被引量：3

电脑编程技巧与维护

2020年第7期

浏览历史

内容加载中请稍等...

基于Python的网络爬虫设计与实现被引量：2

参考文献5

二级参考文献22

共引文献34

同被引文献8

引证文献2

二级引证文献7

相关作者

相关机构

相关主题

浏览历史

基于Python的网络爬虫设计与实现 被引量：2

参考文献5

二级参考文献22

共引文献34

同被引文献8

引证文献2

二级引证文献7

相关作者

相关机构

相关主题

浏览历史

基于Python的网络爬虫设计与实现被引量：2