文章目录一.爬虫简介二.简单爬虫架构三.URL管理器3.1url管理器应具有的最小功能：3.2实现方式四.网页下载器4.1urllib简单的获取一个网页。4.2使用Request4.3添加特殊情景的处理五.网页解析器5.1安装beautifulsoup45.2beautifulsoup语法5.3示例代码：六.完整实例6.1分析目标为什么是轻量级爬虫？因为复杂的爬虫需要考虑的场景和问题非常的多，比如有些网页需要登录后才能访问、而有些网页使用javascrip
系统 2019-09-27 17:46:04 2144
了解http协议http请求头GET/HTTP/1.1Host:www.baidu.comConnection:keep-alivePragma:no-cacheCache-Control:no-cacheUpgrade-Insecure-Requests:1User-Agent:Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/76.0.3809.1
系统 2019-09-27 17:45:46 2144
文章的主题不要使用可变对象作为函数的默认参数例如list，dict，因为def是一个可执行语句，只有def执行的时候才会计算默认默认参数的值，所以使用默认参数会造成函数执行的时候一直在使用同一个对象，引起bug。基本原理在Python源码中,我们使用def来定义函数或者方法。在其他语言中,类似的东西往往只是一一个语法声明关键字,但def却是一个可执行的指令。Python代码执行的时候先会使用compile将其编译成PyCodeObject.PyCodeOb
系统 2019-09-27 17:45:28 2144
当你打开一个.py文件时,经常会在代码的最下面看到if__name__=='__main__':,现在就来介绍一下它的作用.模块是对象，并且所有的模块都有一个内置属性__name__。一个模块的__name__的值取决于您如何应用模块。如果import一个模块，那么模块__name__的值通常为模块文件名，不带路径或者文件扩展名。但是您也可以像一个标准的程序样直接运行模块，在这种情况下,__name__的值将是一个特别缺省"__main__"。//////
系统 2019-09-27 17:45:26 2144
今天有点��a=['XXXX_game.sql','XXXX_game_sp.sql','XXXX_gamelog_sp.sql','XXXX_gamelog.sql']foriina:if'gamelog'ini:a.remove(i)printa['XXXX_game.sql','XXXX_game_sp.sql','XXXX_gamelog.sql']历遍的过程中明显MISS掉了'XXXX_gamelog.sql'这个项目，大家可以自己试试，为什么会
系统 2019-09-27 17:38:32 2144
在我以前介绍Python2.4特性的Blog中已经介绍过了decorator了，不过，那时是照猫画虎，现在再仔细描述一下它的使用。关于decorator的详细介绍在Python2.4中的What'snew中已经有介绍，大家可以看一下。如何调用decorator基本上调用decorator有两种形式第一种：复制代码代码如下:@Adeff():这种形式是decorator不带参数的写法。最终Python会处理为：复制代码代码如下:f=A(f)还可以扩展成：复制
系统 2019-09-27 17:38:31 2144
字典由多个键及与其对应的值构成的对组成（把键值对成为项），每个键和它的值之间用冒号（：）隔开，项之间用逗号（,）隔开，而整个字典由一对大括号括起来。空字典由两个大括号组成：{}dict函数可以用dict函数，通过其他映射或者（键，值）这样的序列对建立字典复制代码代码如下:>>>items=[('name','Gumby'),('age',42)]>>>d=dict(items)>>>d{'age':42,'name':'Gumby'}>>>d['name'
系统 2019-09-27 17:38:11 2144
1.使用测量工具，量化性能才能改进性能，常用的timeit和memory_profiler，此外还有profile、cProfile、hotshot等，memory_profiler用了psutil，所以不能跟踪cpython的扩展；2.用C来解决费时的处理，c是效率的代名词，也是python用来解决效率问题的主要途径，甚至有时候我都觉得python是c的完美搭档。常用的是Cython，直接把py代码c化然后又能像使用py包一样使用，其次是ctypes，效
系统 2019-09-27 17:37:43 2144
====================================================================今天逛空间,意外看到CSDN空间报如上图的错!这种错误以前也见到过!今天就深入研究一下错误产生的原因:解决504GatewayTime-out(nginx)504GatewayTime-out问题常见于使用nginx作为webserver的服务器的网站我遇到这个问题是在升级discuz论坛的时候遇到的一般看来,这种情况可能
系统 2019-08-29 23:46:36 2144
http://www.sina.com.cn2007年10月12日18:58和讯新浪提示：本文属于个股点评栏目，仅为证券咨询人士对一只股票的个人观点和分析，并非正式的新闻报道，新浪不保证其真实性，一切有关该股的有效信息，以沪深交易所的公告为准，敬请投资者注意风险。周五大盘在指标股的带领下展开大幅震荡行情。分析这波以指标股为主导的拉升行情，我们发现，权重股的上涨主要受到境外股市大涨的联动效应，以及内地机构因资产配置需要而形成的推动力。不过，权重股的此番行情从
系统 2019-08-29 23:45:09 2144
