scrapy框架的使用

安装

• 打开终端，输入pip install scrapy，回车，等待安装完成✅

常用命令

创建项目

• scrapy startproject 项目名

创建文件

• 定位到 spiders目录，输入命令scrapy genspider 文件名 爬取的网页域名
• 示例代码如下：
  scrapy genspider baidu www.baidu.com

运行项目

• 在终端输入scrapy crawl 文件名
• 示例：
  如运行上面的百度爬虫，则在终端输入scrapy crawl baidu,等待程序执行即可。