视频1 视频21 视频41 视频61 视频文章1 视频文章21 视频文章41 视频文章61 推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37 推荐39 推荐41 推荐43 推荐45 推荐47 推荐49 关键词1 关键词101 关键词201 关键词301 关键词401 关键词501 关键词601 关键词701 关键词801 关键词901 关键词1001 关键词1101 关键词1201 关键词1301 关键词1401 关键词1501 关键词1601 关键词1701 关键词1801 关键词1901 视频扩展1 视频扩展6 视频扩展11 视频扩展16 文章1 文章201 文章401 文章601 文章801 文章1001 资讯1 资讯501 资讯1001 资讯1501 标签1 标签501 标签1001 关键词1 关键词501 关键词1001 关键词1501 专题2001
如何完整写一个爬虫框架
2020-11-27 14:13:15 责编:小OO
文档
本文主要为大家分享一篇如何完整写一个爬虫框架的请求方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧,希望能帮助到大家。

产生爬虫框架:

1、建立一个scrapy爬虫工程

2、在工程中产生一个scrapy爬虫

3、配置spider爬虫

4、运行爬虫,获取网页

具体操作:

1、建立工程

定义一个工程,名称为:python123demo

方法:

在cmd中,d: 进入d盘, cd pycodes 进入文件pycodes

然后输入

scrapy startproject python123demo

在pycodes中会生成一个文件:



_init_.py不需要用户编写



2、在工程中产生一个scrapy爬虫

执行一条命令,给出爬虫名字和爬取的网站

产生爬虫:


生成一个名称为 demo 的spider

仅限生成 demo.py,其内容为:


name = 'demo' 当前爬虫名字为demo

allowed_domains = " 爬取该网站域名以下的链接,该域名由cmd命令台输入

start_urls = [] 爬取的初始页面

parse()用于处理相应,解析内容形成字典,发现新的url爬取请求

3、配置产生的spider爬虫,使之满足我们的需求

将解析的页面保存成文件

修改demo.py文件


4、运行爬虫,获取网页

打开cmd输入命令行进行爬虫


然后我的电脑上出现了一个错误


windows系统上出现这个问题的解决需要安装Py32Win模块,但是直接通过官网链接装exe会出现几百个错误,更方便的做法是

pip3 install pypiwin32

这是py3的解决方案

注意:py3版本如果用 pip install pypiwin32指令会发生错误

安装完成后,重新进行爬虫,成功!撒花!


捕获页面存储在 demo.html文件中


demo.py 所对应的完整代码:

两版本等价:

下载本文
显示全文
专题