写的dht协议搜索的程序,这几天优化了一下发现速度确实快了好多。但是出现了一个新的问题,内存直接飙升,我开了十个爬虫占用内存800m。开始我以为是节点太多了,找了几个小问题修改一下,发现没用。后来就到网上查找python内存分析的工具,查了一点资料发现python有个meliae库操作非常方便,就使用分析了一下,发现不是节点太多的原因00,是保存发送的t_id,用来标示返回的消息是那个发出的一个字典过大了。从分析的结果非常容易的定位了某个对象的数量和大小,
系统 2019-09-27 17:52:11 2202
函数的参数在定义Python函数时可定义形参,这些参数在调用时候才能确定具体的值,由函数的调用者负责为行参传入参数值函数的参数类型一、位置参数也叫必传参数,顺序参数,是最重要的,也是必须在调用函数时明确提供的参数!位置参数必须按先后顺序,一一对应,个数不多不少的传递!说明:a,b,c是函数add的行参,没有具体的值,只有在add(x,y,z)是才被传入值,a=x=1,b=y=2,c=z=3,其中x,y,z叫做实参,add(4,5,6,7),add(5,7)
系统 2019-09-27 17:50:17 2202
為何Python變量沒有DataType概念?可以與任意DataType綁定?Python變量Variable與其他程式語言不同之處在於:>variable不是對內存地址ramaddress的引用,而是對data的引用>variable被重新assign新値時,Python新分配此data存儲空間,而variable指向此新的地址例如:啟動Python時,其namespace如下:>>>globals(){'__name__':'__main__','__
系统 2019-09-27 17:49:50 2202
图片版PDF无法复制,转化成文字版的PDF后使用更方便.我们需要用到python3.6,pypdf2,ghostscript,PythonMagick,百度文字识别服务和pdfkit.安装安装python3.6略安装ghostscripthttps://ghostscript.com/download/gsdnld.html安装wkhtmltopdfhttps://wkhtmltopdf.org/downloads.htmlpip安装PyPDF2,ghos
系统 2019-09-27 17:49:31 2202
本文是一篇个人总结,win10下anaconda3+python3.7+pycharm2018.3.4环境配置。下次再配置就方便许多。注意:win10下配置python环境方法十分多,总体分两类:1.下载python和pycharm,然后将pycharm的环境解释器改为python.exe2.下载anaconda,anaconda会自带python,然后下载pycharm,将pycharm的环境解释器更改为anaconda路径的python.exe。(an
系统 2019-09-27 17:47:49 2202
先记录一下我自己像写的一个超级大木马蠕虫的思路。请自行忽略1.本机电脑扫描探测其他电脑2.使用poc验证是否存在漏洞,同时检测是否已经被感染3.如果都满足,感染未感染同时又存在漏洞的机子。4.感染后的机子下载代码。继续以上过程(这样是一台控制几台,几台又控制几台,可以开几台,形成循环。而且不互相知道)5.如何控制自己的这种僵尸网络呢?(开一个特殊的后门)发送一条指令,一传十,十传百。主机信息怎么传递,可传输指令,运行github上的恶意代码,交替运行,由控
系统 2019-09-27 17:47:29 2202
简单的问答已经实现了,那么问题也跟着出现了,我不能确定问题一定是"你叫什么名字",也有可能是"你是谁","你叫啥"之类的,这就引出了人工智能中的另一项技术:自然语言处理(NLP):大概意思就是让计算机明白一句话要表达的意思,NLP就相当于计算机在思考你说的话,让计算机知道"你是谁","你叫啥","你叫什么名字"是一个意思这就要做:语义相似度接下来我们用Python大法来实现一个简单的自然语言处理现在又要用到Python强大的三方库了第一个是将中文字符串进行
系统 2019-09-27 17:57:46 2201
学习器在测试集上的误差我们通常称作“泛化误差”。要想得到“泛化误差”首先得将数据集划分为训练集和测试集。那么怎么划分呢?常用的方法有两种,k折交叉验证法和自助法。介绍这两种方法的资料有很多。下面是k折交叉验证法的python实现。##一个简单的2折交叉验证fromsklearn.model_selectionimportKFoldimportnumpyasnpX=np.array([[1,2],[3,4],[1,3],[3,5]])Y=np.array([
系统 2019-09-27 17:54:40 2201
安装anaconda后在命令行中出现ThisPythoninterpreterisinacondaenvironment,buttheenvironmenthasnotbeenactivated.Librariesmayfailtoload.Toactivatethisenvironmentpleaseseehttps://conda.io/activation解决方式使用终端或Anaconda提示符执行以下步骤。默认情况下,活动环境---您当前使用的环境
系统 2019-09-27 17:54:25 2201
起因:有一天突然想看本小说,在小说网站上不能下载,广告太多,便。。。思路:–分析网站的结构–爬取目录(获得章节名和链接)–多线程加载章节网页–正则匹配内容–保存生成错误日志–链接单个章节txt合并为一个#-*-coding:utf-8-*-"""CreatedonTueJul218:23:492019@author:24709"""importurllibimporturllib.requestimportmultiprocessingfrombs4imp
系统 2019-09-27 17:53:50 2201
uwsg基础配置[uwsgi]#当前文件所处的文件夹chdir=%dproject_name=%cuser=@(exec://whoami)virtualenv=/home/keithl/workdir/python/pyenv/%(project_name)#loadaWSGImodulewsgi-file=wsgi_admin_handler.pymaster=true#setthesocketlistenqueuesizelisten=100#本机内
系统 2019-09-27 17:53:47 2201
备忘一下python中的字典如何遍历,没有什么太多技术含量.仅供作为初学者的我参考.复制代码代码如下:#!/usr/bin/envpython#coding=utf-8demoDict={'1':'Chrome','2':'Android'}forkeyindemoDict.keys():printkeyforvalueindemoDict.values():printvalueforkeyindemoDict:printkey,demoDict[key]
系统 2019-09-27 17:52:57 2201
网络爬虫学习笔记(2)1资料《Python网络爬虫从入门到实践》唐松,陈志铨。主要面向windows平台下的python3。菜鸟教程-》python2笔记2-1Python基础(1)++python的列表还有一种只读格式——元组Tuple,它用()进行赋值,且只能在初始化时赋值。列表有追加元素的内置方法append()字典有内置方法keys()(获得所有键的值),values()元组用“()”标识,列表用“[]”标识,字典用“{}”标识type(变量)查看
系统 2019-09-27 17:52:48 2201
目录1.函数介绍2.函数的参数3.模块与函数4.递归函数5.匿名函数6.多返回值python的学习已经进入到第四天,前面几章我们已经学会了基本的变量操作,以及分支结构和循环结构,那么本章,我们来说说python中的函数1.函数介绍在开发程序中,如果需要调用某段代码多次,但是为了提高编写的效率以及代码的可重用性,所以把具有独立功能的代码块组织成一个独立的小模块,这就是函数。在Python中可以使用def关键字来定义函数,和变量一样每个函数也需要声明一个符合命
系统 2019-09-27 17:50:11 2201
1.首先需要安装pandas,安装的时候可能由依赖的包需要安装,根据运行时候的提示,缺少哪个库,就pip安装哪个库。2.示例代码importpandasaspdfrompandasimportExcelWriterEX_PATH="E:\\code\\test2.xlsx"#读取excel里面的内容data=pd.read_excel(EX_PATH,sheet_name='Sheet1')#新增加一列内容lista=[21,21,20,19,19,22]
系统 2019-09-27 17:49:29 2201