jsonJSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式,易于人阅读和编写。json是我们在制作爬虫时非常常见的网络对象,本文就列举python对于json的基本操作。json函数使用json函数首先要导入json库即importjson主要使用以下两个函数:json.dumps将Python对象编码成JSON字符串json.loads将已编码的JSON字符串解码为Python对象json.dumpsjson.dump
系统 2019-09-27 17:54:25 2076
Pandas中对时间这个属性的处理有非常非常多的操作。而本文对其中一个大家可能比较陌生的方法进行讲解。其他的我会陆续上传。应用情景是这样的:考虑到有一个数据集,数据集中有用户注册账号的时间(年-月-日),如下图格式。如果我们希望对用户账号注册时间转为具体的天数,我们可以用如下代码。importpandasaspdtd=data['user_reg_tm']Time=pd.to_datetime(td)Start=pd.datetime(2016,4,16)
系统 2019-09-27 17:53:59 2076
例子:以百度文库中选择文档的类型为例问题一:遍历点击所有文档类型的单选框#coding=utf-8fromseleniumimportwebdriverfromtimeimportsleepdriver=webdriver.Chrome()driver.maximize_window()driver.get("http://wenku.baidu.com")driver.implicitly_wait(8)foriindriver.find_element
系统 2019-09-27 17:53:47 2076
python2中的urllib2改为python3中的urllib.request四种方式对比:python2的get#coding=utf-8importurllibimporturllib2word=urllib.urlencode({"wd":"百度"})url='http://www.baidu.com/s'+'?'+wordrequest=urllib2.Request(url)printurllib2.urlopen(request).read
系统 2019-09-27 17:52:45 2076
前段时间时间为大家讲解了如何使用requests库模拟登录淘宝,而今天我们将对该功能进行丰富。所以我们把之前的那个版本定为1.0,而今天修改的版本定为2.0。版本的迭代意味着功能的升级,那今天的2.0版本较之前的1.0版本有哪些改进呢?我们一起来看看!1.0版本实现步骤我们先来回顾一下模拟登录淘宝的步骤吧,我们还是先看看淘宝登录的详细时序图:这是淘宝网登录的一个请求流程,而我们模拟登录也是根据这样的一个流程。但是在代码模拟登录的时候就不会分的这么细,我们根
系统 2019-09-27 17:52:34 2076
对于部署在百度应用引擎BAE上的项目,使用百度云存储BCS(BaiduCloudStorage)是不错的存储方案。百度云存储已有PythonSDK,对它进行简单封装后,就可以直接在Flask中使用了,项目代码见GitHub上Flask-BCS。使用示例代码:复制代码代码如下:fromflaskimportFlaskfromflask_bcsimportBCSBCS_HOST='BCSHOST'BCS_ACCESS_KEY='BCSAccessKey'BCS
系统 2019-09-27 17:52:25 2076
前段时间看到letcode上的元音字母字符串反转的题目,今天来研究一下字符串反转的内容。主要有三种方法:1.切片法(最简洁的一种)#切片法defreverse1():s=input("请输入需要反转的内容:")returns[::-1]reverse1()#运行结果In[23]:defreverse1():...:s=input("请输入需要反转的内容:")...:returns[::-1]...:...:reverse1()请输入需要反转的内容:你是一个
系统 2019-09-27 17:52:09 2076
文件结构html_downloader.py-下载网页html内容#!/usr/bin/python#-*-coding:UTF-8-*-importurllib2classHtmlDownloader(object):defdownlod(self,url):ifurlisNone:returnNoneresponse=urllib2.urlopen(url)ifresponse.getcode()!=200:returnNonereturnrespon
系统 2019-09-27 17:52:08 2076
for我们先来看一下for语句的格式:foriinrange(0,5):print(i)其中range相当于一个迭代器。我们可以这么尝试:print(list(range(0,5)))输出很简单了,就是01234当然了这里的迭代器可以用自己的list比如:cgg=["cgg","cgg1","cgg2"]foriincgg:print(i)输出结果就是三个字符串以此输出。while循环语句当然少不了while了先来看看while的格式:whilecgg<1
系统 2019-09-27 17:51:52 2076
功能:为已存在的函数或对象添加额外的功能原则:不改变源代码为其添加功能不改变函数的调用方式方法:装饰器=高阶函数+嵌套函数(高阶函数:一个函数可以作为参数传递给另外一个函数,或者,一个函数的返回值是一个函数,即函数的入口地址)函数名作为参数传递给装饰器(@decorator_name)装饰函数返回函数名(函数地址)注意:默认情况下,装饰器会修改名字和文档说明,但是可以使用functools中的@wraps()解决。@wraps接受一个函数来进行装饰,并加入
系统 2019-09-27 17:51:46 2076