搜索到与相关的文章
Python

python打造爬虫代理池过程解析

最近在使用爬虫爬取数据时,经常会返回403代码,大致意思是该IP访问过于频繁,被限制访问。限制IP访问网站最常用的反爬手段了,其实破解也很容易,就是在爬取网站是使用代理即可,这个IP被限制了,就使用其他的IP。对于高大上的公司来说,他们基本都使用收费的代理,基本不会有什么问题,比较稳定。像我这样的矮矬穷,肯定是用不起收费的代理。一般都是使用国内免费的代理,网上也有很多提供免费的代理。很多人都是从网上爬取一批免费的代理IP,存放在存储媒介中,例如excel文

系统 2019-09-27 17:56:04 1966

Python

python学习13:分解质因数

'''将一个正整数分解质因数。例如:输入90,打印出90=2*3*3*5。'''frompip._vendor.distlib.compatimportraw_inputdeftest1(n):print("%d="%n,end='');whilen>1:foriinrange(2,n+1):ifn%i==0:n=int(n/i)ifn==1:print("%d"%i,end='');else:print("%d*"%i,end='');breakdeft

系统 2019-09-27 17:55:28 1966

Python

python创建数值列表和if语句,for循环的综合练习

阅读更多#1-20的列表a=list(range(1,21))print(a)#1-10000的列表squares=[]forvalueinrange(1,10001):square=valuesquares.append(square)print(squares)#1-10000的列表,核实从1开始10000结束,求1-10000之和a=list(range(1,10001))print(a)print(min(a))print(max(a))print

系统 2019-09-27 17:54:50 1966

Python

详解python中的文件与目录操作

详解python中的文件与目录操作一获得当前路径1、代码1>>>importos>>>print('Currentdirectoryis',os.getcwd())CurrentdirectoryisD:\Python362、代码2如果将上面的脚本写入到文件再运行CurrentdirectoryisE:\python\work二获得目录的内容Python代码>>>os.listdir(os.getcwd())['DLLs','Doc','include',

系统 2019-09-27 17:54:32 1966

Python

python全栈开发基础知识学习——数据库表操作

表单操作一、表结构操作1.创建表2.查看表信息3.修改表结构二、表记录操作1.表纪录之增,删,改2.表记录之查三、外键约束四、多表查询准备两张表笛卡尔积查询内连接查询外连接查询五、索引1.索引简介2.索引语法1.创建表时创建索引2.已存在的表创建索引3.删除索引3.索引测试实验一、表结构操作1.创建表createtabletab_name(field1type[完整性约束条件],field2type,...fieldntype)[charactersetx

系统 2019-09-27 17:54:20 1966

Python

Python3.6+selenium2.53.6自动化测试_读取excel

环境:编辑工具:浏览器:有问题可以联系qq:1776376537安装xlrd安装DDT一分析1目录结构2导入包二代码importxlrdclassExcelUtil():def__init__(self,excelPath,sheetName="Sheet1"):self.data=xlrd.open_workbook(excelPath)self.table=self.data.sheet_by_name(sheetName)#获取第一行作为key值se

系统 2019-09-27 17:54:09 1966

Python

Python面向对象编程——基本语法

Python面向对象编程——基本语法一、类的语法上一节最后的代码其实有问题,属性名字和年龄都写死了,想传名字传不进去。classPerson(object):def__init__(self,name,age):self.name=nameself.age=agep=Person("Alex",22)print(p.name,p.age)为什么有__init__?为什么有self?此时的你一脸蒙逼,相信不画个图,你的智商是理解不了的!画图之前,你先注释掉这

系统 2019-09-27 17:54:00 1966

Python

python利用urllib实现爬取京东网站商品图片的爬虫实例

本例程使用urlib实现的,基于python2.7版本,采用beautifulsoup进行网页分析,没有第三方库的应该安装上之后才能运行,我用的IDE是pycharm,闲话少说,直接上代码!#-*-coding:utf-8-*importreimportosimporturllibimporturllib2frombs4importBeautifulSoupdefcraw(url,page):html1=urllib2.urlopen(url).read(

系统 2019-09-27 17:53:53 1966

Python

Python的Lambda函数用法详解

在Python中有两种函数,一种是def定义的函数,另一种是lambda函数,也就是大家常说的匿名函数。今天我就和大家聊聊lambda函数,在Python编程中,大家习惯将其称为表达式。1.为什么要用lambda函数?先举一个例子:将一个列表里的每个元素都平方。先用def来定义函数,代码如下defsq(x):returnx*xmap(sq,[yforyinrange(10)])再用lambda函数来编写代码map(lambdax:x*x,[yforyinr

系统 2019-09-27 17:53:33 1966

Python

Python中urllib2模块的8个使用细节分享

Python标准库中有很多实用的工具类,但是在具体使用时,标准库文档上对使用细节描述的并不清楚,比如urllib2这个HTTP客户端库。这里总结了一些urllib2库的使用细节。1Proxy的设置urllib2默认会使用环境变量http_proxy来设置HTTPProxy。如果想在程序中明确控制Proxy,而不受环境变量的影响,可以使用下面的方式复制代码代码如下:importurllib2enable_proxy=Trueproxy_handler=url

系统 2019-09-27 17:53:21 1966