python爬虫1《1》什么是爬虫网络爬虫?网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。《2》爬虫的基本原理:我们把互联网比喻为一张大网,网络爬虫我们想象为网上的蜘蛛,网页与网页之间的连接我们理解为节点,爬虫就相当于是访问网页,获取网页的信息,又通过节点可以爬取另一个网站,然后不停的通过一个个节点即访问一个个网页,这样网站的数据就可以被我们获取下来了。《3》爬虫的分类:网络爬虫可分为通用爬虫和聚焦爬虫
系统 2019-09-27 17:48:45 2020
numpy.ptp()是计算最大值与最小值差的函数,用法如下:importnumpyasnpa=np.array([np.random.randint(0,20,5),np.random.randint(0,20,5)])print('原始数据\n'a)print('对所有数据计算\n',a.ptp())print('axis=0,按行方向计算,即每列\n',a.ptp(axis=0))#按行方向计算,即每列print('axis=1,按列方向计算,即每行
系统 2019-09-27 17:48:43 2020
第一篇基本概念01什么是数据结构02什么是算法03应用实例-最大子列和问题第二篇线性结构01线性表及其实现02堆栈03队列04应用实例-多项式加法运算05小白专场-多项式乘法与加法运算-c语言实现05小白专场-多项式乘法与加法运算-python语言实现第三篇树(上)01树与树的表示02二叉树及存储结构03二叉树的遍历04小白专场-树的同构-c语言实现04小白专场-树的同构-python语言实现第三篇树(中)01二叉搜索树02平衡二叉树03小白专场-是否同一
系统 2019-09-27 17:48:29 2020
本文实例讲述了Python学习笔记之lambda表达式用法。分享给大家供大家参考,具体如下:Lambda表达式使用Lambda表达式创建匿名函数,即没有名称的函数。lambda表达式非常适合快速创建在代码中以后不会用到的函数。麻烦的写法:defmultiply(x,y):returnx*y使用Lambda之后:double=lambdax,y:x*yLambda函数的组成部分:关键字lambda表示这是一个lambda表达式。lambda之后是该匿名函数的
系统 2019-09-27 17:48:25 2020
面向对象编程时,都会遇到一个概念,类,python也有这个概念,下面我们通过代码来深入了解下。创建和使用类classDog():def__init__(self,name,age):self.name=nameself.age=agedefsit(self):print(self.name.title()+"isnowsitting.")defroll_over(self):print(self.name.title()+"rolledover!")my_
系统 2019-09-27 17:48:08 2020
2019中国好声音火热开播,作为一名“假粉丝”,这一季每一期都刷过了,尤其刚播出的第六期开始正式的battle。视频视频看完了,那看下大家都是怎样评论的。1.网页分析部分本文爬取的是腾讯视频评论,第六期的评论地址是:http://coral.qq.com/4093121984每页有10条评论,点击“查看更多评论”,可将新的评论加载进来,通过多次加载,可以发现我们要找的评论就在以v2开头的js类型的响应中。请求为GET请求,地址是http://coral.q
系统 2019-09-27 17:48:03 2020
在学习python的过程中,用来练习代码,并且复习数据结构的#coding:utf-8#author:ElvisclassStack(object):def__init__(self,size=8):self.stack=[]self.size=sizeself.top=-1defis_empty(self):ifself.top==-1:returnTrueelse:returnFalsedefis_full(self):ifself.top+1==se
系统 2019-09-27 17:47:55 2020
========坚持30天刷leetcode=====题目链接:https://leetcode-cn.com/problems/4sum/分析:本题的解题思路与上一题类似,排序,然后先固定几个位置,再首尾各一个变量移动遍历。关键在于:特殊情况的判别,从而降低时间复杂度。classSolution:deffourSum(self,nums,target):k=len(nums)ifk<4:returnNone#特殊情况:数组小于4ifk==4andsum(
系统 2019-09-27 17:47:39 2020
我是闲的没事干,2014过的太浮夸了,博客也没写几篇,哎~~~用这篇来记录即将逝去的2014python对各种数据库的各种操作满大街都是,不过,我还是喜欢我这种风格的,涉及到其它操作,不过重点还是对数据库的操作。呵~~Python操作Mysql首先,我习惯将配置信息写到配置文件,这样修改时可以不用源代码,然后再写通用的函数供调用新建一个配置文件,就命名为conf.ini,可以写各种配置信息,不过都指明节点(文件格式要求还是较严格的):复制代码代码如下:[a
系统 2019-09-27 17:47:24 2020
在Python中,语法错误可以被Python解释器发现,但逻辑上错误或变量使用错误却不容易发现,如果结果没有符合预期,则需要调试,一个很好的调试工具:Python自带的pdb模块。pdb是Python自带的调试模块。使用pdb模块可以为脚本设置断点、单步执行、查看变量值等。pdb可以用命令行参数的方式启动,也可以使用import将其导入后再使用。复制代码代码如下:>>>dir(pdb)['Pdb','Repr','Restart','TESTCMD',..
系统 2019-09-27 17:46:04 2020