平时见到的url参数都是key-value,一般vlaue都是字符串类型的如果有幸和我一样遇到字典，列表等参数，那么就幸运了python2代码importjsonfromurllibimporturlencode#1.直接将url编码params={"name":"Tom","hobby":["ball","swimming"],"books":[{"name":"语文","pages":20}]}print(urlencode(params))"""ho
系统 2019-09-27 17:51:13 2161
[TOC]一、python线程模块的选择Python提供了几个用于多线程编程的模块，包括thread、threading和Queue等。thread和threading模块允许程序员创建和管理线程。thread模块提供了基本的线程和锁的支持，threading提供了更高级别、功能更强的线程管理的功能。Queue模块允许用户创建一个可以用于多个线程之间共享数据的队列数据结构。避免使用thread模块，因为更高级别的threading模块更为先进，对线程的支持
系统 2019-09-27 17:49:53 2161
阅读更多初学Python爬虫时都会从最简单的方法开始，以下为几种常见的基础做法。"""简单的循环处理"""importrequestsurl_list=["https://www.baidu.com","https://www.cnblogs.com/"]forurlinurl_list:result=requests.get(url)print(result.text)"""线程池处理"""importrequestsfromconcurrent.fut
系统 2019-09-27 17:49:32 2161
【摘要】本节中，我们利用requests库和正则表达式来抓取猫眼电影TOP100的相关内容。requests比urllib使用更加方便，而且目前我们还没有系统学习HTML解析库，所以这里就选用正则表达式来作为解析工具。1.本节目标本节中，我们要提取出猫眼电影TOP100的电影名称、时间、评分、图片等信息，提取的站点URL为http://maoyan.com/board/4，提取的结果会以文件形式保存下来。2.准备工作在本节开始之前，请确保已经正确安装好了r
系统 2019-09-27 17:48:56 2161
我们知道Python3.x引入了新的字符串格式化语法。不同于Python2.x的复制代码代码如下:"%s%s"%(a,b)Python3.x是复制代码代码如下:"{0}{1}".format(a,b)今天我在用MySQLdb时，需要用带参数的复制代码代码如下:cursor.execute(sql,param)语句来完成SQL操作。被其他文章的陈旧说法给误导，用了复制代码代码如下:cursor.execute('insertintotestvalues(%s
系统 2019-09-27 17:48:45 2161
numpy.ptp()是计算最大值与最小值差的函数，用法如下：importnumpyasnpa=np.array([np.random.randint(0,20,5),np.random.randint(0,20,5)])print('原始数据\n'a)print('对所有数据计算\n',a.ptp())print('axis=0,按行方向计算，即每列\n',a.ptp(axis=0))#按行方向计算，即每列print('axis=1,按列方向计算，即每行
系统 2019-09-27 17:48:43 2161
0x00:使用xpath进行网页解析#coding:utf-8importrequestsimportosimportrefromlxmlimportetreeimporttimedefget_title(title):#获取标题，创建文件path=r"./Pic/"+titleifos.path.exists(path):#文件夹存在，返回returnpathelse:os.makedirs(path)#创建空文件夹returnpathdefpic_ge
系统 2019-09-27 17:48:15 2161
1.首先需要一个python的tgz包，这里以Python3.6.8的包为例；2.解压Python.tgz；3.安装所需要的依赖：#yum-ygroupinstalldevelopment#yum-yinstallzlib-devel#yum-yinstallgcc#yuminstall-ylibffilibffi-devel#yuminstallopenssl-devel4.开始编译安装python3：#./configure--with-ssl#mak
系统 2019-09-27 17:47:49 2161
Matplotlib简介Matplotlib是一个Python工具箱，用于科学计算的数据可视化。借助它，Python可以绘制如Matlab和Octave多种多样的数据图形。最初是模仿了Matlab图形命令,但是与Matlab是相互独立的.通过Matplotlib中简单的接口可以快速的绘制2D图表初试MatplotlibMatplotlib中的pyplot子库提供了和matlab类似的绘图API.复制代码代码如下:importmatplotlib.pyplo
系统 2019-09-27 17:47:25 2161
【百度云搜索，搜各种资料:http://www.lqkweb.com】【搜网盘，搜各种资料:http://www.swpan.cn】css选择器1、2、3、::attr()获取元素属性，css选择器::text获取标签文本举例：extract_first('')获取过滤后的数据，返回字符串，有一个默认参数，也就是如果没有数据默认是什么，一般我们设置为空字符串extract()获取过滤后的数据，返回字符串列表#-*-coding:utf-8-*-import
系统 2019-09-27 17:47:14 2161
