本地电脑具有Scrapy爬虫环境,但是想让 爬虫一直工作,还是要把代码扔到服务器上,所以在linux服务器上安装Scrapy环境。
linux服务器原python2.7
经过一番操作,升级到python3.6
参考 https://www.cnblogs.com/kimyeee/p/7250560.html
我只是到 make install 为止
然后安装Scrapy,遇到问题1:
' error: gcc' failed with exit status 1 '
参考 https://blog.csdn.net/enweitech/article/details/80728434
安装python的devel环境,使用
yum install python-devel
但是这时候使用yum发现,yum不可用
参考 https://blog.csdn.net/guoyajie1990/article/details/77206498
不知是否只有3.6的问题,按照别人所说:
rm -rf python 删除原来的软链
ln -s /usr/bin/python2 /usr/bin/python 将python暂时链到python,以继续使用yum
然后就可以安装devel环境,完成后再执行安装pip install scrapy成功
最后 scrapy -v 成功查看scrapy版本