去年因项目需要，用python写了个爬虫。因爬到的数据需要存到生产环境的PG数据库。所以需要将脚本部署到CentOS服务器，并设置定时任务，自动启动脚本。实施步骤如下：1.安装pip（操作系统自带了python2.6可以直接用，但是没有pip）#下载pip安装包wget"https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c
系统 2019-09-27 17:53:15 2291
python的版本经过了python2.x和python3.x等版本，无论哪种版本，关于python爬虫相关的知识是融会贯通的，脚本之家关于爬虫这个方便整理过很多有价值的教程，小编通过本文章给大家做一个关于python爬虫相关知识的总结，以下就是全部内容：python爬虫的基础概述1.什么是爬虫网络爬虫，即WebSpider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从
系统 2019-09-27 17:52:41 2291
英语单词优化上篇文章写到了Python开发英语单词记忆工具，其中依赖了bootstrap.cssjQuery.js基础html模块以及片段的css样式。有些朋友问，怎么能将这个练习题打包成单独的exe可执行文件，来脱离python环境使用呢？在这里跟大家简单说下思路，有需求的朋友可以自己去扒拉扒拉…依赖的css和js，如果有外网的前提，可以使用bootcdn提供的链接引用：https://cdn.bootcss.com/jquery/3.4.0/jquer
系统 2019-09-27 17:52:27 2291
注：以下内容在python3中操作一.一行输入多个值a,b=input().split()#此时得到的a和b的类型均为字符串，以空格为分隔符a,b=input().split(',')#此时得到的a和b的类型均为字符串，以逗号为分隔符具体操作如下：a,b=map(int,input().split())#此时得到的a和b的类型为整数，以空格为分隔符具体操作如下：补充split():语法：str.split(str='',num)[n]其中str：分隔符，默
系统 2019-09-27 17:51:19 2291
1、安装执行命令pipinstallvirtualenv为了使用virtualenv更方便，可以借助virtualenvwrapper执行命令pipinstallvirtualenvwrapper-win安装完毕以后可以通过命令来创建virtualenvwrapper2、基本使用2.1创建virtualenvwrappermkvirtualenvmy_env那么会在你当前用户下创建一个Env的文件夹，然后将这个虚拟环境安装到这个目录下，如果电脑中安装了Py
系统 2019-09-27 17:51:03 2291
今天向大家介绍app爬取。文章目录一：爬取主要流程简述二：抓包工具Charles1.Charles的使用2.安装(1)安装链接(2)须知(3)安装后3.证书配置(1)证书配置说明(2)windows系统安装证书配置(3)Android手机安装证书配置4.开启SSL监听5.原理6.抓包三：抓包工具mitmproxy(免费的)1.简介2.关联组件3.安装和证书配置(1)用pip安装(2)在GitHub或官网上安装3.证书配置(1)产生CA证书4.抓包原理5.设
系统 2019-09-27 17:50:36 2291
遗传算法Python实现瞎BB代码导入库以及参数设置目标函数生成C行R列的值在0-1的数组混沌函数二进制转十进制个体按值从大到小排序交叉变异适应度函数主函数瞎BB代码导入库以及参数设置importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportmathimportrandom#rangeofvariablebounds=np.array([-2,2])#beginofvariablebo
系统 2019-09-27 17:50:20 2291
写了个阿里巴巴招聘网站爬虫，这次是存在csv文件里，小伙伴们可以对比一下～importrequests,json,csv#写入csv文件中list=[]csv_file=open('阿里巴巴招聘.csv','w+',newline='',encoding='utf=8')writer=csv.writer(csv_file)list_head=['职位名称','部门','是否招聘','学历','大类','小类','工作地','工作经历','要求','职责'
系统 2019-09-27 17:49:31 2291
接着上一篇，这里继续整合交易类。importdatetime#交易类，后期需要整合公钥，私钥classTransaction:#payer付款方，receiver收款方def__init__(self,payer,receiver,money):self.payer=payerself.receiver=receiverself.money=moneyself.timestamp=datetime.datetime.now()#交易时间def__repr_
系统 2019-09-27 17:49:31 2291
声明：仅为了学习爬虫，请勿用于商业和恶意爬取数据，否则后果自负，作者享有该文章的所有解释权原创文章：只需要在程序运行时输入一个数字，就会爬取1-该页数的图片，并且爬取小图对应的详情大图（套图），代码复制可用，下面是我爬取的部分数据。小图太过性感，这里就不截图了importrequestsimportreimportosheaders={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.
系统 2019-09-27 17:48:57 2291
