最近在使用爬虫爬取数据时,经常会返回403代码,大致意思是该IP访问过于频繁,被限制访问。限制IP访问网站最常用的反爬手段了,其实破解也很容易,就是在爬取网站是使用代理即可,这个IP被限制了,就使用其他的IP。对于高大上的公司来说,他们基本都使用收费的代理,基本不会有什么问题,比较稳定。像我这样的矮矬穷,肯定是用不起收费的代理。一般都是使用国内免费的代理,网上也有很多提供免费的代理。很多人都是从网上爬取一批免费的代理IP,存放在存储媒介中,例如excel文
系统 2019-09-27 17:56:04 2227
我们在做工作中经常会使用到json模块,今天就简单介绍下json模块什么是jsonJSON,全称为JavaScriptObjectNotation,也就是JavaScript对象标记,它通过对象和数组的组合米表示数据,构造简洁但是结构化程度非常高,是一种轻量级的数据交换格式。json模块在python中可以作为数据解析json对象和数组在JavaScript语言中,一切都是对象。任何支持的类型都可以通过JSON来表示,例如字符串、数字、对象、数组等,但是对
系统 2019-09-27 17:55:20 2227
Python没有真正的全局变量,在Java和C++中,全局变量则是程序级别的,站在它们的角度,那么python就是没有全局变量,而在python的角度,是有全局变量,python提供global关键字,可以修改全局变量,在python中的全局变量只是针对当前python文件/模块所定义的,python文件就是一个模块,独立的命名空间,模块内定义的变量就只属于该命名空间,so,python没有真正的全局变量,全局变量也只是文件级别。所以Python的全局变量
系统 2019-09-27 17:55:20 2227
主要逻辑是判断文件的最后修改时间与创建时间是否在秒级别上一致,此代码适用于Python2.importtimeimportos#ReadfimenameFileName='D:/scapegoat/xx.csv'#printfilecreationtimeprinttime.strftime('%Y-%m-%d%H:%M:%S',time.localtime(os.stat(FileName).st_ctime))#printfilemodifiedtim
系统 2019-09-27 17:54:41 2227
python中random的常用方法总结一、random常用模块1.random.random()随机生成一个小数print(random.random())#输出0.60605621179967842.random.randint(m,n)随机生成一个m到n的整数(包括n)print(random.randint(1,5))#输出53.random.randrange(m,n)随机生成m到n中的一个数,包括m但是不包括nprint(random.rand
系统 2019-09-27 17:54:35 2227
魔术方法(魔法函数):一种特殊的方法。特点:不需要人工调用,在特定的时刻自动执行。1._init_初始化魔术方法*****1.触发时机:实例化对象之后触发2.作用:为实例化的对象添加对象的所属成员。3.参数:一个self接受当前对象其他的参数根据实例化的传参决定4.返回值:无5.注意事项:无例:className():age=18def__init__(self,head):self.sex="男"self.color="black"self.runs=s
系统 2019-09-27 17:54:26 2227
本文实例讲述了Python计算程序运行时间的方法。分享给大家供大家参考。具体实现方法如下:复制代码代码如下:importtimedefstart_sleep():time.sleep(3)if__name__=='__main__':#Thestarttimestart=time.clock()#Aprogramwhichwillrunfor3secondsstart_sleep()#TheEndtimeend=time.clock()print("The
系统 2019-09-27 17:53:31 2227
运行splash:控制台输入:dockerrun-p8050:8050scrapinghub/splash如果报错:重启Docker后再输入。
系统 2019-09-27 17:53:24 2227
问题描述:使用Python语言完成文本颜色设置。源代码:#!/usr/bin/python#-*-coding:UTF-8-*-classbcolors:HEADER='\033[95m'OKBLUE='\033[94m'OKGREEN='\033[92m'WARNING='\033[93m'FAIL='\033[91m'ENDC='\033[0m'BOLD='\033[1m'UNDERLINE='\033[4m'printbcolors.WARNING+
系统 2019-09-27 17:52:56 2227
json.load读取文件(file),解析为json对象(dict类型);json.loads读取字符串(string),解析为json对象;json.dump写文件(file),将json对象写入文件;json.dumps写字符串,将json对象写成string。importjsonimportosjson_obj={'name':'Michael','age':13}print("jsondict:",type(json_obj))#json对象是一
系统 2019-09-27 17:52:39 2227