在采集网页信息的时候，经常需要伪造报头来实现采集脚本的有效执行下面，我们将使用urllib2的header部分伪造报头来实现采集信息方法1、#!/usr/bin/python#-*-coding:utf-8-*-#encoding=utf-8#Filename:urllib2-header.pyimporturllib2importsys#抓取网页内容-发送报头-1url="//www.jb51.net"send_headers={'Host':'www.
系统 2019-09-27 17:47:48 1716
下面仅以多线程为例：首先需要明确几个概念：知识点一：当一个进程启动之后，会默认产生一个主线程，因为线程是程序执行流的最小单元，当设置多线程时，主线程会创建多个子线程，在python中，默认情况下（其实就是setDaemon(False)），主线程执行完自己的任务以后，就退出了，此时子线程会继续执行自己的任务，直到自己的任务结束，例子见下面一。知识点二：当我们使用setDaemon(True)方法，设置子线程为守护线程时，主线程一旦执行结束，则全部线程全部被
系统 2019-09-27 17:47:34 1716
在任何语言中，都会规定某些对象(属性、方法、函数、类等)只能够在某个范围内访问，出了这个范围就不能访问了。这是“公”、“私”之分。此外，还会专门为某些特殊的东西指定一些特殊表示，比如类的名字就不能用class，def等，这就是保留字。除了保留字，python中还为类的名字做了某些特殊准备，就是“专有”的范畴。私有函数在某些时候，会看到有一种方法命名比较特别，是以“__”双划线开头的，将这类命名的函数/方法称之为“私有函数”。所谓私有函数，就是：私有函数不可
系统 2019-09-27 17:47:33 1716
博主之前写过各种排序方法的详细分析，于是在这个地方直接放上示例代码示例代码如下：#encoding:utf-8defquick_sort(lists,left,right):#快速排序ifleft>=right:returnlistskey=lists[left]low=lefthigh=rightwhileleft
系统 2019-09-27 17:47:30 1716
如果你不希望从头开始创造一种数据格式来存放数据，JSON是一个很好的选择。如果你对Python有所了解，就更加事半功倍了。下面就来介绍一下如何使用Python处理JSON数据。JSON的全称是JavaScript对象表示法JavaScriptObjectNotation。这是一种以键值对的形式存储数据的格式，并且很容易解析，因而成为了一种被广泛使用的数据格式。另外，不要因为JSON名称而望文生义，JSON并不仅仅在JavaScript中使用，它也可以在其它
系统 2019-09-27 17:47:24 1716
序列化(Serialization)是将对象的信息转换为可以存储或传输的形式，后续还可以通过从存储区中读取或反序列化对象的状态，重新创建该对象。在python中也可以进行序列化相关的操作，只是序列化的时候需要将对象保存为一个字典的类型。对于Python内置的数据类型（如str,unicode,int,float,bool,None,list,tuple,dict），可以直接进行序列化/反序列化处理；对于自定义类的对象进行序列化和反序列化时，需要我们自己定义
系统 2019-09-27 17:47:18 1716
Python命令行之旅：深入argparse（二）作者：HelloGitHub-ProdesireHelloGitHub的《讲解开源项目》系列，项目地址：https://github.com/HelloGitHub-Team/Article前言在上一篇“深入argparse（一）”的文章中，我们深入了解了argparse的包括参数动作和参数类别在内的基本功能，具备了编写一个简单命令行程序的能力。本文将继续深入了解argparse的进阶玩法，一窥探其全貌，助
系统 2019-09-27 17:47:15 1716
字节串bytes字节串也叫字节序列，是不可变的序列，存储以字节为单位的数据字节串表示方法：b"ABCD"b"\x41\x42"...字节串的构造函数：bytes()创建一个空的字节串，同b””bytes(整数可迭代对象)用可迭代对象创建一个字节串bytes(整数n)生成n个值为0的字节串bytes(字符串，encoding='utf-8')转码字节串的运算：同其他序列的运算+、+=、*、*=<、<=、>、>=、!=、==in/notin切片和索引函数：le
系统 2019-09-27 17:47:04 1716
分析分析网站寻找需要的网址用谷歌浏览器摁F12打开开发者工具，然后打开斗鱼颜值分类的页面，如图：在里面的请求中，最后发现它是以ajax加载的数据，数据格式为json，如图：圈住的部分是我们需要的数据，然后复制它的网址为https://www.douyu.com/gapi/rknc/directory/yzRec/1，出于学习目的只爬取第一页（减少服务器压力）。然后把网址放到浏览器中测试是否可以访问。如图：结果正常。分析json数据，提取图片链接最后分析发现
系统 2019-09-27 17:46:57 1716
1.Request库Request库有七个基本方法：首先以requests库的request方法进行讲解：其次，以其中典型的get方法进行说明：1.r=requests.get(url)首先get构造一个向服务器请求资源的Request对象，r是一个返回的一个包括服务器资的Response对象。2.r=requests.get(url,params=None,**kwargs)params:url中的额外参数，字典或者字节流格式...可以修改url内容**
系统 2019-09-27 17:46:57 1716
