windows安装scrapy

今天来分享一下如何在windows环境下安装配置scrapy和新建scrapy项目

准备环境

1.python3.6

2.pip命令

配置scrapy环境

首先,win+R快捷键打开cmd命令,如果执行如下命令由于网络问题出错的话,就重试一下

1.安装lxml

pip install lxml

2.安装pywin32模块

pip install pyWin32

3.安装Twisted

Twisted是用Python实现的基于事件驱动的网络引擎框架

pip install twisted

如果此处安装报错,到https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted找到适合自己版本的twisted下载

下载完毕后,安装方法为cmd命令进入刚刚下载的文件的所在路径,然后执行如下命令

pip install [刚才下载的文件名字]

4.安装pyOpenSSL

pyOpenSSL是Python的OpenSSL接口

pip install pyOpenSSL

5.安装scrapy

pip install scrapy

这个时候scrapy环境就搭配完毕了。

 

新建scrapy项目

1.cmd命令进入你要创建项目的目录

2.执行命令 scrapy startproject template

此时就已经新建完了一个scrapy项目了

ps: scrapy 的项目目录


scrapy 项目目录


scrapy.cfg # Scrapy 部署时的配置文件


spiders # 放置 Spiders 的文件夹


__init__.py


items.py # Items 的定义,定义爬取的数据结构


middlewares.py # Middlewares 的定义,定义爬取时的中间件


pipelines.py # Pipelines 的定义,定义数据管道


settings.py # 配置文件