scrapy 爬虫框架启用命令注意事项
1.cd 到你指定的文件夹下;
2.scrapy startproject Spider(项目名字:自定义);
3.cd Spider(cd到你创建的项目下);
4.scrapy genspider example(爬虫.py的名字) example.com9(你要访问的域名,不要写http/https协议);
5.scrapy crawl example(爬虫py.的名字)
在执行第4步时,一定要保证在你创建的爬虫项目之下去执行命令,否则爬虫文件可以创建成功,但爬虫文件不在spiders下,执行第五步时就会出现scrapy 没有crawl 命令错误:
Unknown command: crawl
Use "scrapy" to see available commands
总结确保2点:
1.把爬虫.py在spiders文件夹里
如执行scrapy crawl demo ,spiders里面就要有这个爬虫文件
2.在项目文件夹内执行命令
在scrapy.cfg所在文件夹里执行命令