在爬虫前,需要知道这两个知识点!!!字符串转字节类型str-->bytesencode()字节类型转字符串bytes-->strdecode()1.以一个简单的例子讲解urllib.request方法read读取相应内容,内容geturl获取请求的urlgetheaders获取头部信息getcode获取状态码readlines按行读取,返回列表,都是字节类型1.1获取百度的网页代码importurllib.requesturl="https://www.b
系统 2019-09-27 17:57:13 1958
较小文件处理方法:importhashlibimportosdefget_md5_01(file_path):md5=Noneifos.path.isfile(file_path):f=open(file_path,'rb')md5_obj=hashlib.md5()md5_obj.update(f.read())hash_code=md5_obj.hexdigest()f.close()md5=str(hash_code).lower()returnmd
系统 2019-09-27 17:57:00 1958
第一篇markdown编辑器001Markdown基本语法第二篇Python集成环境和解释器002Python解释器安装003Python解释器源修改004pip的使用005Python的IDE之Pycharm的使用006Python的IDE之Jupyter的使用第三篇Python基础007常量008变量009Python变量内存管理010各类赋值方式011注释012数据类型基础013数据类型:数字类型014数据类型:字符串类型015数据类型:列表类型01
系统 2019-09-27 17:56:43 1958
本文实例讲述了Python中实现两个字典(dict)合并的方法,分享给大家供大家参考。具体方法如下:现有两个字典dict如下:dict1={1:[1,11,111],2:[2,22,222]}dict2={3:[3,33,333],4:[4,44,444]}合并两个字典得到类似:{1:[1,11,111],2:[2,22,222],3:[3,33,333],4:[4,44,444]}方法1:dictMerged1=dict(dict1.items()+di
系统 2019-09-27 17:56:41 1958
#-*-coding=utf-8-*-importjsonimportrequestsheader={'User-Agent':'googlespider','Content-Encoding':'gzip','X-Forwarded-For':'202.101.43.22',}classBusiness(object):def__init__(self):passdefmy_JSONDecodeError(self):"""我出现JSONDecodeEr
系统 2019-09-27 17:56:35 1958
相关模块osos.pathshutilpathlib(Newinversion3.4)基本操作判断文件(夹)是否存在。os.path.exists(pathname)#newpathlib.Path(pathname).exists()判断路径名是否为文件。os.path.isfile(pathname)#newpathlib.Path(pathname).is_file()判断路径名是否为目录。os.path.isdir(pathname)#newpat
系统 2019-09-27 17:56:34 1958
文本库string:通用字符串操作re:正则表达式操作difflib:差异计算工具textwrap:文本填充unicodedata:Unicode字符数据库stringprep:互联网字符串准备工具readline:GNU按行读取接口rlcompleter:GNU按行读取的实现函数二进制数据库struct:将字节解析为打包的二进制数据codecs:注册表与基类的编×××数据类型库datetime:基于日期与时间工具calendar:通用月份函数collec
系统 2019-09-27 17:56:06 1958
在帮朋友解决这个问题后,随便记录一下这三种方法:第一种方法:使用正则表达式:因为当时的要求是判定10.0.0.1到10.255.255.255,原理其实是一样。这里简单回顾一下正则表达式模式的内容:常见的如:\d可以表示0~9的任意一个数字字符而\D是匹配一个非数字字符等价于^^是匹配字符串的开头,但放在[]中表示匹配不在[]中的字符$是匹配字符串的末尾.是匹配除了换行符任意字符{}表示重复几次,例如:^a{2,4}$aa,aaa或aaaa|的是或的意思[
系统 2019-09-27 17:55:59 1958
这篇文章将解除你使用python的pipinstallxxx受到的网速限制,如果只是下载较小的第三方库,可以尝试pip--default-timeout=100install-Uxxx。一、Windows找到python安装目录下的:\Lib\site-packages\pip\models\index.py文件,将PYPI的值改为你所需要的镜像源即可,例如改为豆瓣镜像源:#PyPI=Index('https://pypi.python.org/')PyP
系统 2019-09-27 17:55:57 1958
1.新式类与经典类在Python2及以前的版本中,由任意内置类型派生出的类(只要一个内置类型位于类树的某个位置),都属于“新式类”,都会获得所有“新式类”的特性;反之,即不由任意内置类型派生出的类,则称之为“经典类”。“新式类”和“经典类”的区分在Python3之后就已经不存在,在Python3.x之后的版本,因为所有的类都派生自内置类型object(即使没有显示的继承object类型),即所有的类都是“新式类”。官方文档https://www.pytho
系统 2019-09-27 17:55:48 1958