python爬虫1《1》什么是爬虫网络爬虫？网络爬虫（又被称为网页蜘蛛，网络机器人）,是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。《2》爬虫的基本原理：我们把互联网比喻为一张大网，网络爬虫我们想象为网上的蜘蛛，网页与网页之间的连接我们理解为节点，爬虫就相当于是访问网页，获取网页的信息，又通过节点可以爬取另一个网站，然后不停的通过一个个节点即访问一个个网页，这样网站的数据就可以被我们获取下来了。《3》爬虫的分类：网络爬虫可分为通用爬虫和聚焦爬虫
系统 2019-09-27 17:48:45 2020
numpy.ptp()是计算最大值与最小值差的函数，用法如下：importnumpyasnpa=np.array([np.random.randint(0,20,5),np.random.randint(0,20,5)])print('原始数据\n'a)print('对所有数据计算\n',a.ptp())print('axis=0,按行方向计算，即每列\n',a.ptp(axis=0))#按行方向计算，即每列print('axis=1,按列方向计算，即每行
系统 2019-09-27 17:48:43 2020
第一篇基本概念01什么是数据结构02什么是算法03应用实例-最大子列和问题第二篇线性结构01线性表及其实现02堆栈03队列04应用实例-多项式加法运算05小白专场-多项式乘法与加法运算-c语言实现05小白专场-多项式乘法与加法运算-python语言实现第三篇树（上）01树与树的表示02二叉树及存储结构03二叉树的遍历04小白专场-树的同构-c语言实现04小白专场-树的同构-python语言实现第三篇树（中）01二叉搜索树02平衡二叉树03小白专场-是否同一
系统 2019-09-27 17:48:29 2020
2019中国好声音火热开播，作为一名“假粉丝”，这一季每一期都刷过了，尤其刚播出的第六期开始正式的battle。视频视频看完了，那看下大家都是怎样评论的。1.网页分析部分本文爬取的是腾讯视频评论，第六期的评论地址是：http://coral.qq.com/4093121984每页有10条评论，点击“查看更多评论”，可将新的评论加载进来，通过多次加载，可以发现我们要找的评论就在以v2开头的js类型的响应中。请求为GET请求，地址是http://coral.q
系统 2019-09-27 17:48:03 2020
python远程统计文件#!/usr/bin/python#encoding=utf-8importtimeimportosimportparamikoimportmultiprocessing#统计文件数量defget_total(ip,password,filepath):paramiko.util.log_to_file('paramiko.log')ssh=paramiko.SSHClient()ssh.set_missing_host_key_p
系统 2019-09-27 17:47:49 2020
我是闲的没事干，2014过的太浮夸了，博客也没写几篇，哎~~~用这篇来记录即将逝去的2014python对各种数据库的各种操作满大街都是，不过，我还是喜欢我这种风格的，涉及到其它操作，不过重点还是对数据库的操作。呵~~Python操作Mysql首先，我习惯将配置信息写到配置文件，这样修改时可以不用源代码，然后再写通用的函数供调用新建一个配置文件，就命名为conf.ini，可以写各种配置信息，不过都指明节点（文件格式要求还是较严格的）：复制代码代码如下:[a
系统 2019-09-27 17:47:24 2020
read()方法读取文件size个字节大小。如果读取命中获得EOF大小字节之前，那么它只能读取可用的字节。语法以下是read()方法的语法：fileObject.read(size);参数size--这是可以从文件中读取的字节数。返回值此方法返回读取字符串中的字节数。例子下面的例子显示了read()方法的使用。#!/usr/bin/python#Openafilefo=open("foo.txt","rw+")print"Nameofthefile:",f
系统 2019-09-27 17:46:26 2020
学习python少不了写爬虫，不仅能以点带面地学习、练习使用python，爬虫本身也是有用且有趣的，大量重复性的下载、统计工作完全可以写一个爬虫程序完成。用python写爬虫需要python的基础知识、涉及网络的几个模块、正则表达式、文件操作等知识。昨天在网上学习了一下，写了一个爬虫自动下载「糗事百科」里面的图片。源代码如下：复制代码代码如下:#-*-coding:utf-8-*-#上面那句让代码里支持中文#------------------------
系统 2019-09-27 17:45:42 2020
前言在安装完python及pip，setuptools等工具后，即可以创建virualenv虚拟环境了，这个类似于虚拟机的工具，可以让同一台电脑中运行多个不同版本的python程序，互不影响，不用的时候，可以退出或删除，挺不错的一个开发工具。一、安装virtualenv#installpiponmacbrewinstallpythoncurlhttps://bootstrap.pypa.io/ez_setup.py-o-|sudopythonsudoeas
系统 2019-09-27 17:45:32 2020
这两天写了个监测网页的爬虫，作用是跟踪一个网页的变化，但运行了一晚出现了一个问题。。。。希望大家不吝赐教！我用的是python3，错误在对htmlresponse的decode时抛出，代码原样为：response=urllib.urlopen(dsturl)content=response.read().decode('utf-8')抛出错误为File"./unxingCrawler_p3.py",line50,ingetNewPhonescontent=
系统 2019-09-27 17:38:24 2020
