最近被多线程给坑了下，没意识到类变量在多线程下是共享的，还有一个就是没意识到内存释放问题，导致越累越大1.python类变量在多线程情况下的是共享的2.python类变量在多线程情况下的释放是不完全的3.python类变量在多线程情况下没释放的那部分内存是可以重复利用的importthreadingimporttimeclassTest:cache={}@classmethoddefget_value(self,key):value=Test.cache.
系统 2019-09-27 17:48:22 1918
前一段时间一直在研究如何用python抓取搜索引擎结果，在实现的过程中遇到了很多的问题，我把我遇到的问题都记录下来，希望以后遇到同样问题的童鞋不要再走弯路。1.搜索引擎的选取选择一个好的搜索引擎意味着你能够得到更准确的搜索结果。我用过的搜索引擎有四种：Google、Bing、Baidu、Yahoo!。作为程序员，我首选Google。但当我看见我最爱的Google返回给我的全是一堆的js代码，根本没我想要的搜索结果。于是我转而投向了Bing的阵营，在用过一段
系统 2019-09-27 17:48:21 1918
0x00:使用xpath进行网页解析#coding:utf-8importrequestsimportosimportrefromlxmlimportetreeimporttimedefget_title(title):#获取标题，创建文件path=r"./Pic/"+titleifos.path.exists(path):#文件夹存在，返回returnpathelse:os.makedirs(path)#创建空文件夹returnpathdefpic_ge
系统 2019-09-27 17:48:15 1918
测试用例分为用函数和类来进行一个大字符串的字符逐一读取。测试代码Node.js函数varfs=require("fs");varcontent=fs.readFileSync("page.html",{encoding:"utf-8"});functionchars(content){varlength=content.length;varpos=0;while(pos++
系统 2019-09-27 17:47:51 1918
可能有这样一种情况，当你想检查其他条件后一个条件解析为真。在这种情况下，可以使用嵌套的if结构。在嵌套的if语句结构，可以在一个if...elif...else结构里面可有另外一个if...elif...else结构。语法：嵌套if...elif...else结构的语法可以是：ifexpression1:statement(s)ifexpression2:statement(s)elifexpression3:statement(s)elsestateme
系统 2019-09-27 17:47:50 1918
还是分析一下大体的流程：首先还是Chrome浏览器抓包分析元素，这是网址：https://www.douyu.com/directory/all发现所有房间的信息都是保存在一个无序列表中的li中，所以我们可以先获取一个装有li的element对象的列表，然后在对每个element逐一操作分析斗鱼的翻页，有一个下一页按钮，是个li，class="dy-Pagination-item-custom"，但是当烦到最后一页的时候，class="dy-Paginat
系统 2019-09-27 17:47:21 1918
importosimportsysimportstring#以指定模式打开指定文件，获取文件句柄defgetFileIns(filePath,model):print("打开文件")print(filePath)print(model)returnopen(filePath,model)#获取需要处理的文件defgetProcFile(path):returnos.listdir(path)#判断是否满足某个条件，如果满足则执行defisTrue(outF
系统 2019-09-27 17:47:04 1918
分析分析网站寻找需要的网址用谷歌浏览器摁F12打开开发者工具，然后打开斗鱼颜值分类的页面，如图：在里面的请求中，最后发现它是以ajax加载的数据，数据格式为json，如图：圈住的部分是我们需要的数据，然后复制它的网址为https://www.douyu.com/gapi/rknc/directory/yzRec/1，出于学习目的只爬取第一页（减少服务器压力）。然后把网址放到浏览器中测试是否可以访问。如图：结果正常。分析json数据，提取图片链接最后分析发现
系统 2019-09-27 17:46:57 1918
对Python中正则表达式的理解，主要就是对符号的理解，本文即对Python中常用的正则表达式符号进行简析。其主要的符号有：.默认匹配一个字符，不包含换行符，如果设置DOTALL则匹配换行符^匹配行首$匹配行尾*匹配０个或者多个重复＋匹配一个或者多个重复？匹配一个或者零个重复*?,+?,??按照非贪婪模式匹配{m},{m,n},{m,n}?分别匹配m个重复，m至n个重复，m至n个重复按照非贪婪模式\转义[][abc],[a-z][^a-z]|或者匹配'a|
系统 2019-09-27 17:46:52 1918
项目目录结构：按照下图所示创建build文件夹及内容Dockerfile:FROMubuntu:16.04FROMpython:3.6ENVhttp_proxy=http://172.16.6.67:3128ENVhttps_proxy=http://172.16.6.67:3128RUNapt-get-yupdate&&\apt-get-yupgrade&&\apt-getinstall-y\vim\git\python3-dev\python3-set
系统 2019-09-27 17:46:45 1918
