早听说用python做网络爬虫非常方便，正好这几天单位也有这样的需求，需要登陆XX网站下载部分文档，于是自己亲身试验了一番，效果还不错。本例所登录的某网站需要提供用户名，密码和验证码，在此使用了python的urllib2直接登录网站并处理网站的Cookie。Cookie的工作原理：Cookie由服务端生成，然后发送给浏览器，浏览器会将Cookie保存在某个目录下的文本文件中。在下次请求同一网站时，会发送该Cookie给服务器，这样服务器就知道该用户是否合
系统 2019-09-27 17:53:11 2237
一、冒泡排序冒泡排序算法的运作如下：比较相邻的元素。如果第一个比第二个大，就交换他们两个。对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。这步做完后，最后的元素会是最大的数。针对所有的元素重复以上的步骤，除了最后一个。持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。以上节选自维基百科代码实现：defbubble_sort(numberlist):length=len(numberlist)foriinrange(lengt
系统 2019-09-27 17:52:52 2237
原文链接：https://www.liaoxuefeng.com/wiki/1016959663602400/1017075323632896注：本篇博客是学习廖雪峰老师网站的摘抄，是为了方便以后的学习。如有侵权，请联系删除！联系邮箱：1103540209@qq.com文章目录1.字符编码2.Python的字符串3.格式化format()4.小结5.参考1.字符编码我们已经讲过了，字符串也是一种数据类型，但是，字符串比较特殊的是还有一个编码问题。因为计算机
系统 2019-09-27 17:52:40 2237
在Python2和Python3中都提供print()方法来打印信息,但两个版本间的print稍微有差异主要体现在以下几个方面：1.python3中print是一个内置函数，有多个参数，而python2中print是一个语法结构；2.Python2打印时可以不加括号：print'helloworld'，Python3则需要加括号print("helloworld")3.Python2中，input要求输入的字符串必须要加引号，为了避免读取非字符串类型发生的
系统 2019-09-27 17:52:30 2237
作为临时测试用python命令来搭建web测试是最好不过的选择了；CD切换到当前目录只需要一句python命令就迅速搭建好了简单的web服务器，pythonlinux自带又无需额外配置安装感觉还是很好用的；python开启web服务器命令python-mSimpleHTTPServer8080端口号可以任意指定一个没有被占用的端口，但必须能通过防火墙；执行完上面命令后，直接输入IP地址加端口号就行了http://:端口号/路径如：http://192.16
系统 2019-09-27 17:52:09 2237
Python资源共享群：484031800前言学过Python数据分析的朋友都知道，在可视化的工具中，有很多优秀的三方库，比如matplotlib，seaborn，plotly，Boken，pyecharts等等。这些可视化库都有自己的特点，在实际应用中也广为大家使用。plotly、Boken等都是交互式的可视化工具，结合Jupyternotebook可以非常灵活方便地展现分析后的结果。虽然做出的效果非常的炫酷，比如plotly，但是每一次都需要写很长的代
系统 2019-09-27 17:51:31 2237
今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 2237
#/usr/bin/envpython#coding:utf-8#进程检测程序importosimportpsutilimportdatetime#获取用户输入的PID#获取pid对应的应用名p=psutil.Process(os.getpid())print('Processname:%s'%p.name())#获取进程bin路径print('Processbinpath:%s'%p.exe())#获取pid对应的路径print('Processpath
系统 2019-09-27 17:50:43 2237
基本使用#设置cookie值@app.route('/set_cookie')defset_cookie():response=make_response("set_cookie")response.set_cookie("name","zhangsan")response.set_cookie("age","13",10)#10秒有效期returnresponse#获取cookie@app.route('/get_cookie')defget_cooki
系统 2019-09-27 17:49:19 2237
集合是一个无序的，不重复的数据组合，它的主要作用如下：去重，把一个列表变成集合，就自动去重了关系测试，测试两组数据之前的交集、差集、并集等关系s=set([3,5,9,10])#创建一个数值集合t=set("Hello")#创建一个唯一字符的集合a=t|s#t和s的并集b=t&s#t和s的交集c=t-s#求差集（项在t中，但不在s中）d=t^s#对称差集（项在t或s中，但不会同时出现在二者中）基础功能List=[1,2,5,6,8]List=set(lis
系统 2019-09-27 17:48:36 2237
