先来说一说HTTP的异常处理问题。当urlopen不能够处理一个response时，产生urlError。不过通常的PythonAPIs异常如ValueError,TypeError等也会同时产生。HTTPError是urlError的子类，通常在特定HTTPURLs中产生。1.URLError通常，URLError在没有网络连接(没有路由到特定服务器)，或者服务器不存在的情况下产生。这种情况下，异常同样会带有"reason"属性，它是一个tuple（可以
系统 2019-09-27 17:54:51 2022
前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，用来解决简单的贴吧下载，绩点运算自然不在话下。不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。于是乎，爬虫框架Scrapy就这样出场了！Scrapy=Scrach+Python，Scrach这个单词是抓取的意思，Scrapy的官网地址：点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照：//www.jb51.net/article/48607.htm
系统 2019-09-27 17:54:46 2022
我们有时候会需要在网上查找并下载图片，当数量比较少的时候，点击右键保存，很轻松就可以实现图片的下载，但是有些图片进行了特殊设置，点击右键没有显示保存选项，或者需要下载很多图片，这样的情况，写一段Python爬虫代码就可以轻松解决!一、页面抓取#coding=utf-8importurllibdefgetHtml(url):page=urllib.urlopen(url)html=page.read()returnhtmlhtml=getHtml("http
系统 2019-09-27 17:54:24 2022
is和==先了解下官方文档中关于is和==的概念。is表示的是对象标示符（objectidentity），而==表示的是相等（equality）；is的作用是用来检查对象的标示符是否一致，也就是比较两个对象在内存中的地址是否一样（相当于检查id(a)==id(b)），而==是用来检查两个对象引用的值是否相等（相当于检查a.eq(b)）；这点和Java有点类似，只不过Java中是用==来比较两个对象在内存中的地址，用equals()来检查两者之间的值是否相等
系统 2019-09-27 17:53:56 2022
依赖包：pipinstallparamiko源码demo:fromtimeimport*importparamiko#定义一个类，表示一台远端linux主机classLinux(object):#通过IP,用户名，密码，超时时间初始化一个远程Linux主机def__init__(self,ip,username,password,timeout=30):self.ip=ipself.username=usernameself.password=passwo
系统 2019-09-27 17:53:55 2022
最近博主手上有一个爬虫项目，开始深入研究python爬虫开发，这是我篇博客也相当于是我的学习笔记，我认为学习爬虫第一步，先学习python多线程与多进程，熟悉网络编程，接下来会陆续以博客的方式跟大家做分享。多进程Python实现多进程的方式主要有两种，一种方法是使用os模块中的fork方法，另一种方法是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作系统，对Windows不支持，后者则是跨平台的实现方式，目前
系统 2019-09-27 17:53:30 2022
脚本之家已经给大家介绍过range和xrange的区别的基础知识，有兴趣的朋友可以参阅：python中xrange和range的区别python中range()与xrange()用法分析本次小编给大家带来的是深入理解range和xrange之间的区别。两种用法介绍如下：1.range([start],stop[,step])返回等差数列。构建等差数列，起点是start，终点是stop，但不包含stop，公差是step。start和step是可选项，没给出s
系统 2019-09-27 17:53:10 2022
从容器、可迭代对象谈起所有的容器都是可迭代的（iterable）,迭代器提供了一个next方法。iter()返回一个迭代器，通过next()函数可以实现遍历。defis_iterable(param):try:iter(param)returnTrueexceptTypeError:returnFalseparams=[1234,'1234',[1,2,3,4],set([1,2,3,4]),{1:1,2:2,3:3,4:4},(1,2,3,4)]forp
系统 2019-09-27 17:53:09 2022
mkvirtualenv-ppython3环境名创建虚拟环境rmvirtualenv环境名删除环境进入虚拟环境workon环境名(workon+tab可以出来所有环境)查看环境下所有包pip3list查看环境下安装的包(不包括原生python包)pip3freeze依赖包文件生成pip3freeze>requirements.txt环境导入依赖包pip3install-rrequirements.txt普通安装pip3install包名这是linux下的指
系统 2019-09-27 17:52:34 2022
简介今天宏哥在这里首先给小伙伴们和童鞋们分享一个有关昙花的小典故：话说昙花原是一位花神，她每天都开花，四季都灿烂。她还爱上了每天给她浇水除草的年轻人。后来，此事给玉帝得知。于是，玉帝大发雷霆，要拆散鸳鸯。他将花神抓了起来，把她贬为每年只能开一瞬间的昙花，不让她再和情郎相见，还把那年轻人送去灵鹫山出家，赐名韦陀，让他忘记前尘，忘记花神。多年过去了，韦陀果真忘了花神，潜心习佛，渐有所成。而花神却怎么也忘不了那个曾经照顾她的小伙子。她知道每年暮春时分，韦陀总要下
系统 2019-09-27 17:52:23 2022
