上次完成的url爬取项目并不能满足需求，在此完成了一个更为强大的爬取代码，有需要的可以直接运行，根据自己爬取的网站更改部分正则和形参即可。前排提示：运行需要耐心，因为几千个url爬完的话，还是建议花生瓜子可乐电影准备好。下面是代码，代码有注释，很容易理解。注意：爬虫代码每过一段时间就需要更新，因为爬的东西在变，所以可能过一段时间就要更新爬虫。#-*-coding:utf-8-*-"""CreatedonWedSep2914:01:282018@author
系统 2019-09-27 17:52:48 2324
前言如果大家在网上搜索Python正则表达式，你将会看到大量的垃圾文章会这样写代码：importrepattern=re.compile('正则表达式')text='一段字符串'result=pattern.findall(text)这些文章的作者，可能是被其他语言的坏习惯影响了，也可能是被其他垃圾文章误导了，不假思索拿来就用。在Python里面，真的不需要使用re.compile!为了证明这一点，我们来看Python的源代码。在PyCharm里面输入:i
系统 2019-09-27 17:52:47 2324
一、开发接口的作用1、mock接口：模拟一些接口。有一些有关联的接口，在别的接口没有开发好的时候，需要用这个接口，就可以写一个假接口，返回想要的结果来模拟这个接口。2、知道服务端的开发逻辑，有助于测试；3、比如不想让其他人看很多数据库中的数据，可以通过接口只返回一部分数据。二、开发一个接口1、flask是一个轻量级的开发框架__name__：代表当前这个python文件server=flask.Flask(__name__)：把当前这个python文件，当
系统 2019-09-27 17:52:45 2324
“”"思路:1.a*b=a+a+a+…2.a*b=n个a相加,只需求证b=n即可3.用for循环遍历即可,b就是range的最大次数4.需考虑a,b有五种情况存在,但结果会有三种,正数,0,负数“”"defmultiplication(a,b):ifa>0andb>0:sum=0foriinrange(b):sum+=aprint(sum)elifa<0andb<0:sum=0foriinrange(-b):sum+=asum=-sumprint(sum)
系统 2019-09-27 17:52:27 2324
一、推导式1.1列表推导式语法：[最终结果(变量)for变量in可迭代对象]1lst=[xforxinrange(1,15)]2print(lst)345#获取1-100以内能被3整除的数6lst=[iforiinrange(100)ifi%3==0]78#获取1-100以内能被3整除的数的平方9lst=[i*iforiinrange(100)ifi%3==0]1.2字典推导式1dic={"a":"b","c":"d"}2#把字典中的key，value互换
系统 2019-09-27 17:52:23 2324
元组元组是不可变类型，以()表示，是任意对象的有序集合，同样是序列的一种，index和count方法分别是取元素，统计元素个数。语法比如(2,3)就是一个元组。元组与列表如此类似，为何需要重复的类型，主要它提供了不变性，提供了”常数”声明。元组项虽不能修改，但是嵌套里面的列表项还是可以修改的。文件open内置函数创建文件对象，通过这个对象对外部文件进行操作。函数有三个参数，第一个文件路径，第二个是打开模式，打开模式有三种:'r'表示读文件,'w'表示写文件
系统 2019-09-27 17:52:13 2324
Python数据科学入门DmitryZinoviev著熊子源译第10章机器学习监督学习尝试从具有标记的训练数据集中推断出预测函数，其中训练数据集中的每一个样本属于哪类都是已知的。（线性回归、逻辑回归、随机决策森林、朴素贝叶斯分类、支持向量机、线性判别分析、神经网络）无监督学习尝试在没有标记的数据中找出隐藏的结构。（K均值、社区检测、分层聚类、主成分分析）第48单元设计预测试验完成模型的建立、评估和验证有一下四个步骤：将输入数据分成训练集和测试集（一般占比为
系统 2019-09-27 17:50:40 2324
生成模拟数据编写generate_log.py#coding=UTF-8importrandomimporttimeurl_paths=["class/112.html","class/128.html","class/145.html","class/130.html","class/146.html","class/131.html","learn/821","course/list"]ip_slices=[132,156,124,10,29,167,
系统 2019-09-27 17:50:31 2324
聊聊Python的单元测试框架（一）：unittest作者：HelloGitHub-ProdesireHelloGitHub的《讲解开源项目》系列，项目地址：https://github.com/HelloGitHub-Team/Article前言说到Python的单元测试框架，想必接触过Python的朋友脑袋里第一个想到的就是unittest。的确，作为Python的标准库，它很优秀，并被广泛用于各个项目。但你知道吗？其实在Python众多项目中，主流的
系统 2019-09-27 17:47:56 2324
浏览器的简单操作#导入webdriver模块#创建driver对象，指定Chrome浏览器driver=webdriver.Chrome()#窗口最大化driver.maximize_window()#访问百度driver.get("http://baidu.com")driver.get("http://sina.com")#后退driver.back()#前进driver.forward()#刷新driver.refresh()#关闭窗口driver.
系统 2019-09-27 17:47:25 2324
