众所周知python的拿手好戏就是爬虫抓取数据，性能优秀，抓取时间快，消耗低，这是python的优势。学会了爬虫后那我们就可以抓取竞争对手的数据，可以对数据进行分析，或者拿来使用（作者不赞成这样做哦）。最重要是对数据进行分析，这样对我们的运营自己的产品，提高用户的新增或留存都是很有帮助的，正所谓现在是大数据年代，没有数据我们也能利用别人的数据。那要怎样才能更好去学习python爬虫呢？今天推荐一本最新使用python3的书籍，值得阅读。《Python3网络
系统 2019-09-27 17:47:38 1945
使用装python饰器做缓存装饰器在之前的文章中有讲过，这里主要是说了装饰器的用法和应该怎么理解。这片文章给出一片补充：主要说在缓存方面的应用。在此之前呢，需要补充一些知识点：就是python查找变量的顺序是什么？答案就是LEGB原则：也就是`Local->Enclosed->Global->Built-in`也就是先在局部作用域内(例如函数内)进行查找，然后在[闭包]1内查找，接下来分别是全局作用域和内置的保留名称注意：闭包内的变量，不能改变，但是对于列
系统 2019-09-27 17:47:18 1945
rstrip()方法返回所有字符都被去除的字符串(缺省为空格字符)结束字符串的副本。语法以下是rstrip()方法的语法：str.rstrip([chars])参数chars--可以提供要去除的字符。返回值此方法返回的所有字符都被去除的字符串(缺省为空格字符)结束字符串的副本。例子下面的例子显示了rstrip()方法的使用。#!/usr/bin/pythonstr="thisisstringexample....wow!!!";printstr.rstri
系统 2019-09-27 17:47:08 1945
登录流程：实例化一个driver，然后driver.get()发送请求最重要的：切换iframe子框架，因为豆瓣的网页中的登录那部分是一个ifrme，必须切换才能寻找到对应元素利用selenium切换到账号密码登录利用selenium输入账户和密码利用selenium点击登录按钮然后利用字典推导式保存了一下cookie代码实现：importtimefromseleniumimportwebdriver#实例化driverdriver=webdriver.C
系统 2019-09-27 17:47:06 1945
1.Request库Request库有七个基本方法：首先以requests库的request方法进行讲解：其次，以其中典型的get方法进行说明：1.r=requests.get(url)首先get构造一个向服务器请求资源的Request对象，r是一个返回的一个包括服务器资的Response对象。2.r=requests.get(url,params=None,**kwargs)params:url中的额外参数，字典或者字节流格式...可以修改url内容**
系统 2019-09-27 17:46:57 1945
预编译importrere1=re.compile(r'元字符组成的正则规则')#元字符下面会说re1.方法()#方法下边也会说元字符：表示普通字符：.#除了\n外都可以匹配的到\d#只匹配纯数字0-9\D#和\d相反，除了数字全都匹配\s#只匹配空格\S#和\s相反，除了空格，全都匹配#我喜欢用[\s\S]*?匹配所有\w#只匹配纯数字或大小写字母或下划线\W#与\w恰好相反，除了纯数字、大小写字母、下划线全都匹配[]#[abcde]只要包含这个列表的字
系统 2019-09-27 17:46:42 1945
在平时的工程中，我们在构建工程时，常常需要用到配置文件，用来配置项目的一些信息，比如数据库，请求网址，文件夹，线程、进程数等信息，这样就可以方便我们通过修改配置文件中的参数来很好地完成整个项目的功能修改或开发。配置文件一般区别于Python代码，会单独存放在一个文件夹中，方便管理，常见的配置文件格式有.conf,.ini,.yaml等。本文使用Python中的configparser模块来处理conf、ini配置文件。首先需要安装configparser模
系统 2019-09-27 17:45:29 1945
介绍Python常见的字符串处理方式字符串截取>>>s='hello'>>>s[0:3]'he'>>>s[:]#截取全部字符'hello'消除空格及特殊符号s.strip()#消除字符串s左右两边的空白字符（包括'\t'，'\n','\r',''）s.strip('0')#消除字符串s左右两边的特殊字符（如'0'）,字符串中间的'0'不会删除例如：>>>s='000hello00world000'>>>s.strip('0')'hello00world's
系统 2019-09-27 17:45:26 1945
示例函数为了开发类型检查器，我们需要一个简单的函数对其进行实验。欧几里得算法就是一个完美的例子：defgcd(a,b):'''Returnthegreatestcommondivisorofaandb.'''a=abs(a)b=abs(b)ifa
系统 2019-09-27 17:37:39 1945
一、前言常见的解决方法都会需要对远程服务器必要的配置，如果远程服务器只有一两台还好说，如果有N台，还需要逐台进行配置，或者需要使用代码进行以上操作时，上面的办法就不太方便了。而使用paramiko可以很好的解决以上问题，比起前面的方法，它仅需要在本地上安装相应的软件（python以及PyCrypto），对远程服务器没有配置要求，对于连接多台服务器，进行复杂的连接操作特别有帮助。下面本文就来详细的介绍PythonParamiko模块的安装与使用，一起学习学习
系统 2019-09-27 17:37:36 1945
