python爬虫scrapy基本使用超详细教程

风中蹦迪

03-16 08:08
阅读 1093

关注

这篇文章主要介绍了python爬虫scrapy基本使用,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下

一、介绍

官方文档：中文2.3版本

下面这张图大家应该很熟悉，很多有关scrapy框架的介绍中都会出现这张图，感兴趣的再去查询相关资料，当然学会使用scrapy才是最主要的。

二、基本使用

2.1 环境安装

1.linux和mac操作系统：

2.windows系统：

1. 先安装wheel：pip install wheel

2. 下载twisted：下载地址

3. 安装twisted：pip install Twisted‑17.1.0‑cp36‑cp36m‑win_amd64.whl（记得带后缀）

4. pip install pywin32

5. pip install scrapy

3.Anaconda(推荐)

在我一开始学python使用的就是python3.8，在安装各种库的时候，总会有各种报错，真的有点让人奔溃。Anaconda在安装过程中就会安装一些常用的库，其次，当我们想要安装其他库时也很方便。当然大家也可以选择安装其他的一些软件，

2.2 scrapy使用流程

这里默认大家已经安装好scrapy库，大家要记得要在命令行里输入以下命令啊。(我使用的anaconda的命令行)

创建工程

进入工程目录：这里一定要进入到刚才创建好的目录中

创建爬虫文件：创建的爬虫文件会出现在之前创建好的spiders文件夹下

编写相关代码

执行爬虫文件

2.3 文件解析

2.4 settings.py一些常见的设置

相当于requests中的headers参数中的User-Agent

可以忽略或者不遵守robots协议

只有程序出现错误的情况下，才显示日志文件，程序正常执行时只会输出我们想要的结果

未加LOG_LEVEL='ERROR'

加LOG_LEVEL='ERROR'之后

scrapy 爬取文件保存为CSV文件中文乱码的解决办法

三、实例

3.1 实例要求

目的：爬取百度网页的百度热榜

3.2 实例代码

实例代码

3.3 输出结果

结果

到此这篇关于python爬虫scrapy基本使用超详细教程的文章就介绍