搜索到与相关的文章
Python

python打造爬虫代理池过程解析

最近在使用爬虫爬取数据时,经常会返回403代码,大致意思是该IP访问过于频繁,被限制访问。限制IP访问网站最常用的反爬手段了,其实破解也很容易,就是在爬取网站是使用代理即可,这个IP被限制了,就使用其他的IP。对于高大上的公司来说,他们基本都使用收费的代理,基本不会有什么问题,比较稳定。像我这样的矮矬穷,肯定是用不起收费的代理。一般都是使用国内免费的代理,网上也有很多提供免费的代理。很多人都是从网上爬取一批免费的代理IP,存放在存储媒介中,例如excel文

系统 2019-09-27 17:56:04 2127

Python

python中的decimal类型转换实例详解

[Python标准库]decimal――定点数和浮点数的数学运算作用:使用定点数和浮点数的小数运算。Python版本:2.4及以后版本decimal模块实现了定点和浮点算术运算符,使用的是大多数人所熟悉的模型,而不是程序员熟悉的模型,即大多数计算机硬件实现的IEEE浮点数运算。Decimal实例可以准确地表示任何数,对其上取整或下取整,还可以对有效数字个数加以限制。Decimal小数值表示为Decimal类的实例。构造函数取一个整数或字符串作为参数。使用浮

系统 2019-09-27 17:56:03 2127

Python

python基于queue和threading实现多线程下载实例

本文实例讲述了python基于queue和threading实现多线程下载的方法,分享给大家供大家参考。具体方法如下:主代码如下:#downloadworkerqueue_download=Queue.Queue(0)DOWNLOAD_WORKERS=20foriinrange(DOWNLOAD_WORKERS):DownloadWorker(queue_download).start()#startadownloadworkerformd5inMD5S:

系统 2019-09-27 17:55:42 2127

Python

python数据类型详解(全面)

1、字符串1.1、如何在Python中使用字符串a、使用单引号(')用单引号括起来表示字符串,例如:str='thisisstring';printstr;b、使用双引号(")双引号中的字符串与单引号中的字符串用法完全相同,例如:str="thisisstring";printstr;c、使用三引号(''')利用三引号,表示多行的字符串,可以在三引号中自由的使用单引号和双引号,例如:'''遇到问题没人解答?小编创建了一个Python学习交流QQ群:8576

系统 2019-09-27 17:55:13 2127

Python

使用python连接mysql数据库之pymysql模块的使用

安装pymysqlpipinstallpymysql2|0使用pymysql2|1使用数据查询语句查询一条数据fetchone()frompymysqlimport*conn=connect(host='127.0.0.1',port=3306,user='root',password='123456',database='itcast',charset='utf8')#创建游标c=conn.cursor()#执行sql语句c.execute("selec

系统 2019-09-27 17:55:11 2127

Python

Python性能优化的20条建议

优化算法时间复杂度算法的时间复杂度对程序的执行效率影响最大,在Python中可以通过选择合适的数据结构来优化时间复杂度,如list和set查找某一个元素的时间复杂度分别是O(n)和O(1)。不同的场景有不同的优化方式,总得来说,一般有分治,分支界限,贪心,动态规划等思想。减少冗余数据如用上三角或下三角的方式去保存一个大的对称矩阵。在0元素占大多数的矩阵里使用稀疏矩阵表示。合理使用copy与deepcopy对于dict和list等数据结构的对象,直接赋值使用

系统 2019-09-27 17:54:58 2127

Python

Python设计模式1--单例模式

设计模式的重要性,不再赘述,分方法和类型逐一记录,以备忘。一、单例模式单例模式,顾名思义,python中的某个类有且仅有一个对象(实例);1.应用场景:某个实例必须保证全局唯一性,如读取某些配置文件的实例,需要确保在任意地方都是相同配置值;2.实现方法:使用python中的基类object中__new__();3.代码:classsingleton(object):def__new__(cls,*args,**kw):ifnothasattr(cls,'_

系统 2019-09-27 17:52:35 2127

Python

python综合题

一、如何抛出异常并且捕获异常二、常用的Python标准库有哪些,并且说明其作用三、描述深拷贝和浅拷贝的区别四、__init__和__new__的区别__new__会优先调用且有返回值__init__没有返回值五、什么是解释型语言,什么是编译型语言六、Match和search的区别Match:只有在0位置匹配成功的话才有返回,如果不是开始位置匹配成功的话,返回nonesearch:会扫描整个字符串并返回第一个成功的匹配七、用Python匹配HTMLtag的时

系统 2019-09-27 17:51:31 2127

Python

Python实现使用request模块下载图片demo示例

本文实例讲述了Python实现使用request模块下载图片。分享给大家供大家参考,具体如下:利用流传输下载图片#-*-coding:utf-8-*-importrequestsdefdownload_image():"""demo:下载图片:return:"""headers={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/45

系统 2019-09-27 17:50:59 2127

Python

Python第一课

前言一个偶然的机会来到博客园,看到了vamei的博文,瞬间被大神言简意赅,深入浅出的Python快速课程所吸引,开始了一步一步的学习编程之路。同时也惊闻大神因抑郁症去世,真是天妒英才,感慨万千。有兴趣的可以看看大神生前的文章。https://www.cnblogs.com/vamei/archive/2012/09/13/2682778.html第一课Python的优缺点以及干什么用的,想必大家都很了解。主要有:简单易学,功能强大,可移植性强等,是人工智能

系统 2019-09-27 17:49:55 2127