最近被多线程给坑了下，没意识到类变量在多线程下是共享的，还有一个就是没意识到内存释放问题，导致越累越大1.python类变量在多线程情况下的是共享的2.python类变量在多线程情况下的释放是不完全的3.python类变量在多线程情况下没释放的那部分内存是可以重复利用的importthreadingimporttimeclassTest:cache={}@classmethoddefget_value(self,key):value=Test.cache.
系统 2019-09-27 17:48:22 1875
当年学爬虫的第一个想法就是想把双色球的数据爬下来，然后看能不能用什么牛叉的算法，或者数据分析把后面的双色球概率算出来；知道现在才抽空写了这几行代码爬取了双色球的数据，我也真是够懒的；也算是闲来无事，练手的爬虫吧；好了，多余的就不说了，直接上代码吧，代码注释已经很清楚了；importsysimportrequestsfromlxmlimportetreedefget_url(url):#请求url的方法，返回htmlheaders={'User-Agent'
系统 2019-09-27 17:47:57 1875
本文较为详细的介绍了python中raw_input的用法，使用raw_input能够很方便的丛控制台读入数据。具体用法示例如下：1.输入字符串#13222319810101****nID=''while1:nID=raw_input("Inputyouridplz")iflen(nID)!=len("13222319810101****"):print'wringlengthofid,inputagain'else:breakprint'youridis
系统 2019-09-27 17:47:47 1875
本文所述实例为Python处理文本文件并生成指定格式文件的方法，具体实现功能代码如下所示：importosimportsysimportstring#以指定模式打开指定文件，获取文件句柄defgetFileIns(filePath,model):print("打开文件")print(filePath)print(model)returnopen(filePath,model)#获取需要处理的文件defgetProcFile(path):returnos.l
系统 2019-09-27 17:47:04 1875
mydict={'Li':['M',7],'Zhang':['E',2],'Wang':['P',3],'Du':['C',2],'Ma':['C',9],'Zhe':['H',7]}res=sorted(mydict.items(),key=lambdax:x[1][1])#根据value结构[m,n]中n的值进行排序print(res)#输出#[('Zhang',['E',2]),('Du',['C',2]),('Wang',['P',3]),('Li
系统 2019-09-27 17:46:52 1875
这次只演示了，如何在真实项目内用到BeautifulSoup库来解析网页，而新浪的新闻是ajax加载过来的数据，在这里我们只演示解析部分数据（具体反扒机制没做分析）。代码地址：https://gitee.com/dwyui/BeautifulSoup_xinlang.git。关于的爬虫的博客已经越来越多，使用到的技术也越来越多，后期我还会持续写下去，大概从几个角度去写，多线程爬取（提高效率），如何更好的做到爬取数据（破解反扒）。用redis管理多线程和代理
系统 2019-09-27 17:45:54 1875
一、建立虚拟环境pipinstallvirtualenv要使用Django，首先要建立一个虚拟工作环境。我们先为项目建立一个文件夹learn，在文件夹中打开命令行（shift+右击），来建立另一个虚拟环境。如果使用的是python3，可使用如下命令来创建：python-mvenvl_env这里运行模块venv，用它来创建一个名为l_env的虚拟环境，此时learn文件夹中会多出来一个l_env的文件夹。如果上述成功了，则跳转到三、激活虚拟环境，否则跳转二、
系统 2019-09-27 17:45:42 1875
创建一个软件包（package）似乎已经足够简单了，也就是在文件目录下搜集一些模块，再加上一个__init__.py文件，对吧？我们很容易看出来，随着时间的推移，通过对软件包的越来越多的修改，一个设计很差的软件包可能会出现循环依赖问题，或是可能变得不可移植和不可靠。1.__init__.py仅为导入服务对于一个简单的软件包，你可能会忍不住把工具方法，工厂方法和异常处理都丢进__init__.py，千万别这样！一个结构良好的__init__.py文件，仅为一
系统 2019-09-27 17:45:42 1875
Python2中编码相关的问题很是让人蛋疼，特别是中文字符。比如本文所述的中文网页GBK编码的诡异问题。现象例如：盲录�氓��，其实网页里面正常的应该是会员分析接着上面的例子，会员这部分乱码通过repr()函数求值得到如下结果\xc3\xa4\xc2\xbc\xc2\x9a\xc3\xa5\xc2\x91\xc2\x98使用type()函数求值得到的结果为unicodeeval(repr())出来值为盲录�氓��通过查表上述6个汉字对应c3a4c2bcc2
系统 2019-09-27 17:45:40 1875
1.简介celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作，但对调度支持也很好。celery用于生产系统每天处理数以百万计的任务。celery是用Python编写的，但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。建议的消息代理RabbitMQ的，但提供有限支持Redis,Beanstalk,MongoDB,CouchDB,，和数据库（使用SQLAlchemy的或Django的ORM）。celer
系统 2019-09-27 17:38:47 1875
