urllib库是python内置的http请求库，包含四个模块：函数说明urllib.request请求模块urllib.error异常处理模块urllib.parseURL解析模块urllib.robotparserrobots.txt模块robots.txt是Robots协议（网络爬虫排除协议），是互联网界通行的道德模范，基于以下原则：搜索技术应服务于人类，同时尊重信息提供者的意愿，并维护其隐私权网站有义务保护其使用者的个人信息和隐私不被侵犯爬取白度网
系统 2019-09-27 17:48:19 2156
time()方法返回时间，在UTC时代以秒表示浮点数。注意：尽管在时间总是返回作为一个浮点数，并不是所有的系统提供时间超过1秒精度。虽然这个函数正常返回非递减的值，就可以在系统时钟已经回来了两次调用期间返回比以前调用一个较低的值。语法以下是time()方法的语法：参数NA返回值此方法返回的时间，因为时代以秒表示浮点数(在UTC)。例子下面的例子显示time()方法的使用。#!/usr/bin/pythonimporttimeprint"time.time(
系统 2019-09-27 17:46:36 2156
在项目测试中遇到了下拉框选择的控件，来总结下如何使用select选择下拉框：下图是Select类的初始化描述，意思是，给定元素是得是select类型，不是就抛异常。接下来给了例子：要操作这个select，先要定位到，然后再通过select_by_index选择下拉框def__init__(self,webelement):"""Constructor.Acheckismadethatthegivenelementis,indeed,aSELECTtag.I
系统 2019-09-27 17:46:35 2156
题目：CSV格式清洗与转换描述附件是一个CSV格式文件，提取数据进行如下格式转换：（1）按行进行倒序排列；
系统 2019-09-27 17:57:03 2155
首先要分析一下电影天堂网站的首页结构。在这里插入图片描述从上面的菜单栏中我们可以看到整个网站资源的总体分类情况。刚刚好我们可以利用到它的这个分类，将每一个分类地址作为爬虫的起点。①解析首页地址提取分类信息#解析首页defCrawIndexPage(starturl):print"正在爬取首页"page=__getpage(starturl)ifpage=="error":returnpage=page.decode('gbk','ignore')tree=
系统 2019-09-27 17:56:57 2155
matplotlib简介matplotlib是python最著名的绘图库，它提供了一整套和matlab相似的命令API，十分适合交互式地行制图。而且也可以方便地将它作为绘图控件，嵌入GUI应用程序中。它的文档相当完备，并且Gallery页面中有上百幅缩略图，打开之后都有源程序。因此如果你需要绘制某种类型的图，只需要在这个页面中浏览/复制/粘贴一下，基本上都能搞定。在Linux下比较著名的数据图工具还有gnuplot，这个是免费的，Python有一个包可以调
系统 2019-09-27 17:55:54 2155
学英语广告最近也许是刚开学的原因，不管是公众号，还是刷抖音，导出都能看到关于学英语、背单词的广告。不知道现在学生们背单词买的什么辅导材料。反正我们上学那会，《星火阅读》特别的火。记得当时随书还送一个红色的塑料膜。书中英语单词是红色的其他文字是黑色的。背单词的时候先把塑料膜盖在书上，然后就只能看到翻译和音标，从而起到自测英语的作用。一页看完了取下塑料膜，再核对哪些单词记错了。就这么一个无脑的功能，当时的我们都觉得好犀利，谁一本这样的背单词书，都不好意思出去装
系统 2019-09-27 17:55:27 2155
1、创建项目打开pycharm终端，输入如下，创建项目#进入pycharm项目目录下cdpyWebdjango-adminstartprojectpyweb_dome#pyweb_dome是django项目名称2、创建应用#进入项目根目录pyweb_dome下cdpyweb_domepythonmanage.pystartappwebserver#webserver为应用名3、创建前端项目使用vue-cli在根目录创建一个名称叫【frontend】的Vue
系统 2019-09-27 17:54:37 2155
前言python的时间格式分为多种，几种格式之间的转换方法时常是我们遇到的而且是经常忘记的点，python不像php，时间字符串和datetime是一起的，只需要strtotime和date函数就可以相互转化。虽然网上已经有很多python时间转换的文章，但是由于作者本人经常做海外业务，需要各种时区之间的转换，所以这篇文章会对按时区转换各种时间格式做一个总结。转换方法图示(图片转自网络)：一、字符串转时间戳1、默认：importtimedeftime_st
系统 2019-09-27 17:54:33 2155
1.位置参数位置参数就是普通的参数定义defpower(x):print(x**2)2.默认参数当调用函数时没有给参数值，那么会给使用定义的默认值。下面定义的函数可以定义参数值也可以不定义，不定义时x默认为9defpower(x=3):print(x**2)默认参数注意事项，当默认参数使用的是可变的类型参数时，会产生不同的结果。当函数定义默认的参数是一个空列表时，第一次调用函数时，变量L设为['end']，当第二次调用时，会以['end']为默认参数，因为
系统 2019-09-27 17:52:14 2155
详细版本见个人博客：Python用list实现堆栈和队列Python中可以用list来模拟栈和队列：栈（stack）:只能在一端进行数据操作，遵循后进先出（LIFO）原则队列（queue）:可以在两端进行数据操作，遵循先进先出（FIFO）原则，出队列的一端称为队首，入队列的一端称为队尾一、栈1、栈要记录的数据栈顶位置top：注意这个top有两种理解方式，一种是表示栈的最后一个数据的位置，另一种是表示栈的最后一个数据的下一个位置，这两种理解对栈的操作代码有一
系统 2019-09-27 17:49:20 2155
首先定义了一个test.py的文件，然后再定义一个函数，并在函数定义后直接运行：test.pydefHaveFun():if__name__=='__main__':print('Iaminmydomain,mynameis%s'%__name__)else:print('Someoneelsecallsme!,mynameis%s'%__name__)HaveFun()运行test.py结果：Iaminmydomain,mynameis__main__然
系统 2019-09-27 17:49:17 2155
看到vscode执行python代码的时候，都会使用这个参数，特地去查了一下功能。简单看下官方文档，python-h，如下简单说就是缓存开关的标志，-u就是unbuffered。具体有什么用呢，可以看下这个例子，来自这里1，环境pyhton2.7importsyssys.stdout.write("stdout1")sys.stderr.write("stderr1")sys.stdout.write("stdout2")sys.stderr.write(
系统 2019-09-27 17:48:16 2155
在讲什么是深浅拷贝之前，我们先来看这样一个现象：a=['scolia',123,[],]b=a[:]b[2].append(666)printaprintb为什么我只对b进行修改，却影响到了a呢？看过我在之前的文章中就说过：序列中保存的都是内存的引用。所以，当我们通过b去修改里面的空列表的时候，其实就是修改内存中的同一个对象，所以会影响到a。a=['scolia',123,[],]b=a[:]printid(a),id(a[0]),id(a[1]),id(
系统 2019-09-27 17:38:20 2155
一直在Coursera上补基础课，发现很多课程都用Python作为教学语言，学了一下感觉果然好，简直是用英语在写代码。（我建Python目录的时候发现去年学过一点点Python，居然一点都不记得了==）不过注释的问题很少有课程给你讲清楚。原来的了解是：Python的注释有2种，#是单行，'''是多行。昨天看了AByteofPython才知道'''并不是严格意义上的注释，而是多行字符串，只不过当注释用的时候，反正没人用到，也就不会有作用。不知道还好，知道以后
系统 2019-08-12 09:27:03 2155
