什么是爬虫爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。爬虫的分类1.通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。简单来讲就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。搜索引擎如何抓取互联网上的网站数据？门户网站主
系统 2019-09-27 17:52:22 2389
解决Python3控制台输出InsecureRequestWarning的问题问题：使用Python3requests发送HTTPS请求，已经关闭认证（verify=False）情况下，控制台会输出以下错误：InsecureRequestWarning:UnverifiedHTTPSrequestisbeingmade.Addingcertificateverificationisstronglyadvised.See:https://urllib3.re
系统 2019-09-27 17:52:19 2389
今天在网上看到type的一段代码，然后查了一下文档，才知道type还有三个参数的用法。http://docs.python.org/2/library/functions.html#type以前只是知道type可以检测对象类型。然后发现了一个有趣的用法。复制代码代码如下:defprintln(self):a=1+1print“%s,%s”%(self.aa,a)A=type(‘A',(),{‘aa':'printa',‘println':println})
系统 2019-09-27 17:52:10 2389
本节收录了稍作剪辑的PEP8摘要（PythonEnhancementProposal，Python增强提案）。PEP8由GuidovanRossum和BarryWarsaw撰写，是Python的最接近编程风格手册的东西。这里省略了一些比较具体的部分，但主要内容都已包括。应该尽可能让代码遵守PEP8规范，代码会由此更具Python风格。访问Python官方网站的文档部分并搜索PEP，就可以获得PEP8全文及Python历史上发布的所有其他PEP。PEP既是P
系统 2019-09-27 17:51:18 2389
1、一个python的package文件夹中__init__.py文件是在引用该包时，首先运行的一个文件。正常情况下，我们没有对它进行编辑时，默认为空。2、utils.py文件中存储一些常见的公用的函数、方法。项目不同，里面内容也不一定相同。在调用时，可直接用“fromutilsimport函数名”即可。但有时候公用的函数过多，一个py文件最多放上400~500行的话，一个utils文件根本不够，这种情况下，我们需要将这些函数分放在多个文件中，然后将多个文
系统 2019-09-27 17:50:28 2389
更多的信息，可以参考python内部的json文档：python>>>help(json)或者官方文档：http://docs.python.org/library/json.html#module-json.下面给出一个使用python解析json的简单例子：复制代码代码如下:#!/usr/bin/pythonimportjson#Function:Analyzejsonscript#Jsonisascriptcandescriptdatastructu
系统 2019-09-27 17:48:31 2389
离线批量下载，首先可以使用：pipfreeze>requirements.txt可以将其中的==改成>=，批量修改即可使用命令，把下载的库放入dependency文件夹下：中途可能因为网络原因下载失败，再次执行该命令即可，已经下载好的包不会重复下载pipdownload-ddependency-rrequirements.txt批量离线安装：pipinstall--no-index--find-links=安装包路径-rrequirements.txt下载
系统 2019-09-27 17:47:58 2389
在Python中，任何类型的对象都可以做真值测试，并且保证返回True或者False。以下几种值（不论类型）在真值测试中返回False：1.None2.False3.任何类型的数字0，包括0,0.0,0L,0j4.空的序列（sequence）或者映射（mapping）类型对象5.对于用户自定义类型的对象，如果其类定义了__nonzero__()或者__len__()特殊方法并且返回False或者0对于最后一条规则，有几点需要说明：1.如果类没有定义这两个方
系统 2019-09-27 17:47:19 2389
我们都知道，序列可以迭代。但是，你知道为什么吗？本文来探讨一下迭代背后的原理。序列可以迭代的原因：iter函数。解释器需要迭代对象x时，会自动调用iter(x)。内置的iter函数有以下作用：(1)检查对象是否实现了iter方法，如果实现了就调用它，获取一个迭代器。(2)如果没有实现iter方法，但是实现了getitem方法，而且其参数是从零开始的索引，Python会创建一个迭代器，尝试按顺序（从索引0开始）获取元素。(3)如果前面两步都失败，Python
系统 2019-09-27 17:46:04 2389
#!/usr/bin/envpython#coding:utf8importos,sysimportmd5,tabfrommysql_co.my_dbimportset_mysqlfromssh_co.ssh_connectimportsshdfromssh_co.cfg.configimportssh_message,item_pathfromfileimportfindfiledefmy_mysql():db_file={}my_connect=set
系统 2019-09-27 17:45:42 2389
