阅读更多初学Python爬虫时都会从最简单的方法开始，以下为几种常见的基础做法。"""简单的循环处理"""importrequestsurl_list=["https://www.baidu.com","https://www.cnblogs.com/"]forurlinurl_list:result=requests.get(url)print(result.text)"""线程池处理"""importrequestsfromconcurrent.fut
系统 2019-09-27 17:49:32 2049
python基础学习笔记（四）2013-04-1823:59虫师阅读(...)评论(...)编辑收藏列表本节继续讨论列表不同元组和字符串的地方：列表是可变的（mutable）----可以改变列表的内容，并且列表有很多有用的、专门的方法。List函数可以将一个字符串拆分成列表。>>>list('chongshi')['c','h','o','n','g','s','h','i']改变列表：元素赋值例如，我们想对一个列表中的某个元素赋值。>>>x=[1,2,3
系统 2019-09-27 17:48:57 2049
在加密货币中，私钥允许用户访问其钱包。持有私钥的人完全控制该钱包中数字货币。出于这个原因，你应该保守秘密。如果你真的想自己生成密钥，那么以安全的方式生成密钥是有意义的。在这里，我将介绍私钥，并向你展示如何使用各种加密函数生成自己的密钥。我将在Python中提供算法和代码的描述。我需要生成私钥吗？大多数时候你没有。例如，如果你使用Coinbase或Blockchain.info等网络钱包，他们会为你创建和管理私钥。交易所也是如此。移动和桌面钱包通常也会为你生
系统 2019-09-27 17:48:40 2049
9.5守护进程主进程创建守护进程其一：守护进程会在主进程代码执行结束后就立即终止其二：守护进程内无法再开启子进程,否则抛出异常：AssertionError:daemonicprocessesarenotallowedtohavechildren注意：进程之间是互相独立的，主进程代码运行结束，守护进程随即终止p.daemon：默认值为False，如果设为True，代表p为后台运行的守护进程，当p的父进程终止时，p也随之终止，并且设定为True后，p不能创建
系统 2019-09-27 17:48:24 2049
如下所示：#x=['cba',"edf"]#y=[]#foriinx:#foriiini:##print(ii)#ifii=='':#pass#else:#y.append(ii)#print(y)#python清除列表中的空字符#list1=['122','2333','3444','','422','','','54','']#第一种方法会导致最后一个''没有被移除掉['122','2333','3444','422','54','']#forxinl
系统 2019-09-27 17:47:59 2049
1.首先需要一个python的tgz包，这里以Python3.6.8的包为例；2.解压Python.tgz；3.安装所需要的依赖：#yum-ygroupinstalldevelopment#yum-yinstallzlib-devel#yum-yinstallgcc#yuminstall-ylibffilibffi-devel#yuminstallopenssl-devel4.开始编译安装python3：#./configure--with-ssl#mak
系统 2019-09-27 17:47:49 2049
本文实例讲述了logging模块的用法实例，分享给大家供大家参考。具体方法如下：importloggingimportoslog=logging.getLogger()formatter=logging.Formatter('[%(asctime)s][%(name)s]%(levelname)s:%(message)s')stream_handler=logging.StreamHandler()file_handler=logging.FileHand
系统 2019-09-27 17:47:39 2049
Python简介与历史Python,英文含义：大蟒蛇，是一种面向对象的解释型计算机程序设计语言，由荷兰人GuidovanRossum设计并领导开发，于1989年发明，第一个公开发行版发行于1991年。Python是纯粹的自由软件，源代码和解释器CPython遵循GPL(GNUGeneralPublicLicense)协议。Python语法简洁清晰，特色之一是强制用空白符(whitespace)作为语句缩进。Python名字的来源：1989年圣诞节期间，在阿
系统 2019-09-27 17:46:24 2049
dic={'key1':'value1','key2':'value2'}一、增if'key3'notindic:dic['key3']='value3'二、删deldic['key1']#删除键是'Name'的条目dic.clear()#清空字典所有条目deldic#删除字典三、改dic['key1']='value0'#更新四、查遍历forkey,valueindic.items():print(key,value)#同时遍历key，valuefori
系统 2019-09-27 17:45:50 2049
阅读更多布尔操作，是或者否：OperationResultNotesxoryifxisfalse,theny,elsex(1)xandyifxisfalse,thenx,elsey(2)notxifxisfalse,thenTrue,elseFalse(3)比较操作，大还是小，是否相同对象，是否相同值：OperationMeaningstrictlygreaterthan>=greate
系统 2019-09-27 17:45:27 2049
下面列出Python正则表达式的几种匹配用法：1.测试正则表达式是否匹配字符串的全部或部分regex=ur""#正则表达式ifre.search(regex,subject):do_something()else:do_anotherthing()2.测试正则表达式是否匹配整个字符串regex=ur"\Z"#正则表达式末尾以\Z结束ifre.match(regex,subject):do_something()else:do_anotherthing()3
系统 2019-09-27 17:38:16 2049
python3shelve模块的详解一、简介在python3中我们使用json或者pickle持久化数据，能dump多次，但只能load一次，因为先前的数据已经被后面dump的数据覆盖掉了。如果我们想要实现dump和load多次，可以使用shelve模块。shelve模块可以持久化所有pickle所支持的数据类型。二、持久化数据1、数据持久化importshelveimportdatetimeinfo={'name':'bigberg','age':22}
系统 2019-09-27 17:38:13 2049
Python标准库中有很多实用的工具类，但是在具体使用时，标准库文档上对使用细节描述的并不清楚，比如urllib2这个HTTP客户端库。这里总结了一些urllib2的使用细节。Proxy的设置Timeout设置在HTTPRequest中加入特定的HeaderRedirectCookie使用HTTP的PUT和DELETE方法得到HTTP的返回码DebugLogProxy的设置urllib2默认会使用环境变量http_proxy来设置HTTPProxy。如果想
系统 2019-09-27 17:37:51 2049
在爬虫前，需要知道这两个知识点！！！字符串转字节类型str-->bytesencode()字节类型转字符串bytes-->strdecode()1.以一个简单的例子讲解urllib.request方法read读取相应内容，内容geturl获取请求的urlgetheaders获取头部信息getcode获取状态码readlines按行读取，返回列表，都是字节类型1.1获取百度的网页代码importurllib.requesturl="https://www.b
系统 2019-09-27 17:57:13 2048
图虫网-写在前面经历了一顿噼里啪啦的操作之后，终于我把博客写到了第10篇，后面，慢慢的会涉及到更多的爬虫模块，有人问scrapy啥时候开始用，这个我预计要在30篇以后了吧，后面的套路依旧慢节奏的，所以莫着急了，100篇呢，预计4~5个月写完，常见的反反爬后面也会写的，还有fucklogin类的内容。图虫网-爬取图虫网为什么要爬取这个网站，不知道哎~莫名奇妙的收到了，感觉图片质量不错，不是那些妖艳贱货可以比的，所以就开始爬了，搜了一下网上有人也在爬，但是基本
系统 2019-09-27 17:56:55 2048
