我们开始来谈谈python的爬虫。1，什么是爬虫：网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。互联网犹如一个大蜘蛛网，我们的爬虫就犹如一个蜘蛛，当在互联网遇到所需要的资源，我们就会爬取下来，即为爬虫是一个请求网站并且提取数据的自动化程序。2，下面我们来提到两个名词：1）请求，request即为我们的请求，当我们在浏览器内输入网址，敲击回车时，这时浏览器就会发送消息给该网址所在
系统 2019-09-27 17:50:56 2150
RSS是一个可用多种扩展来表示的缩写：“RDF站点摘要（RDFSiteSummary）”、“真正简单的辛迪加（ReallySimpleSyndication）”、“丰富站点摘要（RichSiteSummary）”，也许还能用其他扩展来表示。在如此混乱的名称背后，您会发现和这样一个平凡的技术领域相关的故事多得令人吃惊。RSS是用于分发Web站点上的内容的摘要的一种简单的XML格式。它能够用于共享各种各样的信息，包括（但不是仅限于）简讯、Web站点更新、事件日
系统 2019-09-27 17:49:55 2150
#reversed()#l=[1,2,3,4,5]#l.reverse()#print(l)#l=[1,2,3,4,5]#l2=reversed(l)#print(l2)#保留原列表，返回一个反向的迭代器#l=(1,2,23,213,5612,342,43)#sli=slice(1,5,2)#print(l[sli])#print(l[1:5:2])#print(format('test','<20'))#print(format('test','>40'
系统 2019-09-27 17:49:17 2150
1.python连接数据库frompyhiveimporthiveconn=hive.Connection(host='xxxxxx',port=xxx,auth='CUSTOM',username='yourusername',password='yourpassword',database='default')cursor=conn.cursor()2.SQL代码封装设计为可传参方式defget_sql(d):d="'"+d+"'"add_sql_ho
系统 2019-09-27 17:49:01 2150
python基础学习笔记（十三）2013-05-2023:10虫师阅读(...)评论(...)编辑收藏re模块包含对正则表达式。本章会对re模块主要特征和正则表达式进行介绍。什么是正则表达式正则表达式是可以匹配文本片段的模式。最简单的正则表达式就是普通字符串，可以匹配其自身。换包话说，正则表达式’python’可以匹配字符串’python’。你可以用这种匹配行为搜索文本中的模式，并且用计算后有值并发特定模式，或都将文本进行分段。**通配符正则表达式可以匹配
系统 2019-09-27 17:48:48 2150
如下所示：importtime,requestesfromtomorrowimportthreads@threads(10)#使用装饰器，这个函数异步执行defdownload(url):returnrequests.get(url)defmain():start=time.time()urls=['https://pypi.org/project/tomorrow/0.2.0/','https://www.cnblogs.com/pyld/p/47167
系统 2019-09-27 17:48:19 2150
Django内置了分页设置，但不够灵活，需要我们自定义分页。下面代码考虑了利用bootstrap分页组件来实现页面美化，如果不想使用，可以不调用url_format_by_bootstrap函数，即可实现普通分页。具体的参数和代码均有注释#!python3#@Project:mysite2-pager.py#@Info:自定义分页操作importreclassPageInfo:""":paramcurrent_page当前页码:paramdata要分页的数
系统 2019-09-27 17:47:37 2150
分类题目解题思路Python实现题目给定一个数组，它的第i个元素是一支给定的股票在第i天的价格。设计一个算法来计算你所能获取的最大利润。你最多可以完成两笔交易。注意:你不能同时参与多笔交易（你必须在再次购买前出售掉之前的股票）,地址。示例：输入:[3,3,5,0,0,3,1,4]输出:6解释:在第4天（股票价格=0）的时候买入，在第6天（股票价格=3）的时候卖出，这笔交易所能获得利润=3-0=3。随后，在第7天（股票价格=1）的时候买入，在第8天（股票价格
系统 2019-09-27 17:45:38 2150
①GET#-*-coding:utf-8-*-importrequestsdefget(url,datas=None):response=requests.get(url,params=datas)json=response.json()returnjson注：参数datas为json格式②POST#-*-coding:utf-8-*-importrequestsdefpost(url,datas=None):response=requests.post(
系统 2019-09-27 17:38:05 2150
一、深度优先搜索深度优先搜索就是在搜索树的每一层始终先只扩展一个子节点，不断地向纵深前进直到不能再前进（到达叶子节点或受到深度限制）时，才从当前节点返回到上一级节点，沿另一方向又继续前进。这种方法的搜索树是从树根开始一枝一枝逐渐形成的。深度优先搜索亦称为纵向搜索。由于一个有解的问题树可能含有无穷分枝，深度优先搜索如果误入无穷分枝（即深度无限），则不可能找到目标节点。所以，深度优先搜索策略是不完备的。另外，应用此策略得到的解不一定是最佳解（最短路径）。二、重
系统 2019-08-29 23:26:55 2150
