python爬虫框架scrapy教程（python爬虫框架scrapy的安装与使用）

1.windows 下 scrapy 的安装

windows 下的安装首先需要安装一些依赖库，有些最好使用下载 whl 文件进行本地安装的方法，下面是安装步骤和一些需要本地安装的依赖库

1.wheel

pip3 install wheel

2.lxml

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

3.PyOpenssl

https://pypi.python.org/pypi/pyOpenSSL#downloads

4.Twisted

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

5.Pywin32

https://pypi.org/project/pywin32/#files

6.Scrapy

pip3 install scrapy

2.scrapy 的基本运行测试

按照下图的步骤输入，如果最后没有报错就说明安装成功

3.补充：anaconda 下的 scrapy 的安装

如果 windows 本地安装有 anaconda 集成环境的话那么安装 scrapy 是极其简单的，只需要下面一条命令就可以了

conda install scarpy