编程技术 - 军军小站|张军博客
Python

python中使用urllib2伪造HTTP报头的2个方法

在采集网页信息的时候,经常需要伪造报头来实现采集脚本的有效执行下面,我们将使用urllib2的header部分伪造报头来实现采集信息方法1、#!/usr/bin/python#-*-coding:utf-8-*-#encoding=utf-8#Filename:urllib2-header.pyimporturllib2importsys#抓取网页内容-发送报头-1url="//www.jb51.net"send_headers={'Host':'www.

系统 2019-09-27 17:47:48 1862

Python

Python一行代码搞定炫酷可视化,你需要了解一下Cufflinks

作者:xiaoyu微信公众号:Python数据科学知乎:python数据分析师前言学过Python数据分析的朋友都知道,在可视化的工具中,有很多优秀的三方库,比如matplotlib,seaborn,plotly,Boken,pyecharts等等。这些可视化库都有自己的特点,在实际应用中也广为大家使用。plotly、Boken等都是交互式的可视化工具,结合Jupyternotebook可以非常灵活方便地展现分析后的结果。虽然做出的效果非常的炫酷,比如pl

系统 2019-09-27 17:47:45 1862

Python

跟老齐学Python之私有函数和专有方法

在任何语言中,都会规定某些对象(属性、方法、函数、类等)只能够在某个范围内访问,出了这个范围就不能访问了。这是“公”、“私”之分。此外,还会专门为某些特殊的东西指定一些特殊表示,比如类的名字就不能用class,def等,这就是保留字。除了保留字,python中还为类的名字做了某些特殊准备,就是“专有”的范畴。私有函数在某些时候,会看到有一种方法命名比较特别,是以“__”双划线开头的,将这类命名的函数/方法称之为“私有函数”。所谓私有函数,就是:私有函数不可

系统 2019-09-27 17:47:33 1862

Python

centos 下面安装python2.7 +pip +mysqld

python2.7复制代码代码如下:wgethttp://www.python.org/ftp/python/2.7.6/Python-2.7.6.tar.xzyuminstallxz-libsxz-dPython-2.7.6.tar.xzlstar-xvfPython-2.7.6.tarcdPython-2.7.6yuminstallzlib-develbzip2-developenssl-develncurses-develsqlite-develre

系统 2019-09-27 17:47:31 1862

Python

好程序员Python学习路线分享实现快速排序算法

好程序员Python学习路线分享实现快速排序算法,快速排序算法是一种基于交换的高效的排序算法,由C.R.A.Hoare于1962年提出,是一种划分交换排序。它采用了一种分治的策略,通常称其为分治法(Divideandconqueralgorithm)。分治法的基本思想将原问题分解为若干个规模更小但结构与原问题相似的子问题。递归地解这些子问题,然后将这些子问题的解组合为原问题的解。快速排序的基本思想先找到一个基准点(一般指数组的中部),然后数组被该基准点分为

系统 2019-09-27 17:47:30 1862

Python

python itertools 模块讲解

1、介绍itertools是python的迭代器模块,itertools提供的工具相当高效且节省内存。使用这些工具,你将能够创建自己定制的迭代器用于高效率的循环。-无限迭代器itertools包自带了三个可以无限迭代的迭代器。这意味着,当你使用他们时,你要知道要的到底是最终会停止的迭代器,还是需要无限地迭代鞋去。(1)count(初值=0,步长=1):count迭代器会返回从传入的起始参数开始的均匀间隔的数值。count也可以接收指定的步长参数。我们来看一

系统 2019-09-27 17:47:20 1862

Python

19、 Python快速开发分布式搜索引擎Scrapy精讲—css选择器

【百度云搜索,搜各种资料:http://www.lqkweb.com】【搜网盘,搜各种资料:http://www.swpan.cn】css选择器1、2、3、::attr()获取元素属性,css选择器::text获取标签文本举例:extract_first('')获取过滤后的数据,返回字符串,有一个默认参数,也就是如果没有数据默认是什么,一般我们设置为空字符串extract()获取过滤后的数据,返回字符串列表#-*-coding:utf-8-*-import

系统 2019-09-27 17:47:14 1862

Python

python之递归函数

函数的嵌套defone():print("第一个函数")deftwo():one()print("第二个函数")two()递归函数,就是函数内嵌套函数自身,下面是阶乘的递归方法defone(a):ifa==1:return1else:returnone(a-1)*aone(5)匿名函数:https://blog.csdn.net/GrofChen/article/details/93018250全局变量:https://blog.csdn.net/Grof

系统 2019-09-27 17:47:12 1862

Python

python3 打印输出字典中特定的某个key的方法示例

本文实例讲述了python3打印输出字典中特定的某个key的方法。分享给大家供大家参考,具体如下:大家都知道python中的字典里的元素是无序的,不能通过索引去找到它,今天说我下通过下面几个方法去找某个特定的key的元素。Tester={"name":"shawxie","phone":"135xxxx","Address":"深圳市南山区","job":"软件测试","hobby":"爬山"}假如我想从Tester字典中找出name。有几个方法可以找到。

系统 2019-09-27 17:47:12 1862

Python

python爬虫---实现项目(一) Requests爬取HTML信息

上面的博客把基本的HTML解析库已经说完了,这次我们来给予几个实战的项目。这次主要用Requests库+正则表达式来解析HTML。项目一:爬取猫眼电影TOP100信息代码地址:https://gitee.com/dwyui/maoyan-Requests.git项目二:美食爬取(包含多层爬取)代码地址:https://gitee.com/dwyui/meishi_Requests.git

系统 2019-09-27 17:47:06 1862

Python

python针对mysql数据库的连接、查询、更新、删除操作示例

本文实例讲述了python针对mysql数据库的连接、查询、更新、删除操作。分享给大家供大家参考,具体如下:连接一代码importpymysql#打开数据库连接db=pymysql.connect("localhost","root","root","db_test01")#使用cursor()方法创建一个游标对象cursorcursor=db.cursor()#使用execute()方法执行SQL查询cursor.execute("SELECTVERSI

系统 2019-09-27 17:46:56 1862

Python

循环与分支——python

循环结构程序设计中,最能发挥计算机特长的结构:循环结构需要重复进行某种运算,并且运算对象有规律变化的情况,使用循环结构使用forninrange(2,10)时,不包括10python中不支持直到型循环结构(后测循环实现)但可以通过while语句间接实现:number=-1whilenumber<0number=eval(input("Enterapositivenumber:"))或者whileTrue:number=eval(input("Enterap

系统 2019-09-27 17:46:48 1862

Python

Python使用一行代码获取上个月是几月

本文介绍的关于Python时间日期处理,日期时间处理在实际应用场景中无处不在,所以这也成了编程语言中必不可少的模块,Python也不例外。但是,你知道在Python中有多少个相关的模块吗?datetime、time、calendar、dateutil、pytz等等。你知道有多少种数据类型吗?date、time、datetime、tzinfo、timedelta等等。有天我遇到这样的需求,想获取当前月的前一个月是几月,假设本月是2018年1月,那么上个月就是

系统 2019-09-27 17:46:11 1862

Python

Python 操作 SQLite 数据库

SQLite是一个小型的关系型数据库,它最大的特点在于不需要单独的服务、零配置。我们在之前讲过的两个数据库,不管是MySQL还是MongoDB,都需要我们安装。安装之后,然后运行起来,其实这就相当于已经有一个相应的服务在跑着。SQLite与前面所说的两个数据库不同。首先Python已经将相应的驱动模块作为了标准库的一部分,只要是你安装了Python,就可以使用;再者它可以类似于操作文件那样来操作SQLite数据库文件。还有一点,SQLite源代码不受版权限

系统 2019-09-27 17:45:49 1862

Python

python进度条

最近写的代码中写了很多函数,都是按步骤调用的,想看代码执行到第几个函数了,但又不想在每个函数中打印来表示执行到哪了,这时候就想用进度条来显示了,看网上没有我这种思路来实现的,自己来写个importtimeimporttqdmdefwork1():time.sleep(1)defwork2():time.sleep(1)defwork3():time.sleep(1)defwork4():time.sleep(1)defwork5():time.sleep(

系统 2019-09-27 17:45:25 1862