网络爬虫学习笔记（2）1资料《Python网络爬虫从入门到实践》唐松，陈志铨。主要面向windows平台下的python3。菜鸟教程-》python2笔记2-1Python基础（1）++python的列表还有一种只读格式——元组Tuple，它用（）进行赋值，且只能在初始化时赋值。列表有追加元素的内置方法append（）字典有内置方法keys()（获得所有键的值），values()元组用“()”标识，列表用“[]”标识，字典用“{}”标识type(变量)查看
系统 2019-09-27 17:52:48 2186
这段时间用到了scons，这里总结下，也方便我以后查阅。一、安装sconsLinux环境（以CentOS为例）1、yum安装yuminstallscons2、源码安装下载scons：http://http://jaist.dl.sourceforge.net/project/scons/scons/2.3.0/scons-2.3.0.zip安装scons：pythonsetup.pyinstall二、scons常用命令scons-c：可以清除生成的临时文件
系统 2019-09-27 17:51:49 2186
模块是用类编写的，只有一个StringIO类，所以它的可用方法都在类中。此类中的大部分函数都与对文件的操作方法类似。例：复制代码代码如下:#coding=gbkimportStringIO,cStringIO,syss=StringIO.StringIO("JGoodisahandsomeboy")s.write("JGoodisahandsomeboy\r\n")s.write('okkkk中国')s.seek(0)prints.read()#最后4个字
系统 2019-09-27 17:50:39 2186
while循环Python中while语句的一般形式while判断条件：语句while有限循环n=100sum=0counter=1whilecounter<=n:sum=sum+countercounter+=1print("1到%d之和为:%d"%(n,sum))while无限循环我们可以通过设置条件表达式永远不为false来实现无限循环，实例如下：var=1whilevar==1:#表达式永远为truenum=int(input("输入一个数字:")
系统 2019-09-27 17:49:30 2186
导入time这个包就可以通过它获取是时间#-*-coding:UTF-8-*-importtimeprint(time.time())#输出：1562304217.5744529通过执行上面代码后我们发现我们得到的是一个时间戳，这个时间戳是根据1970年到现在的秒数据但是很多人需求并不要一个时间戳，而是要所有人都看的懂的（年月日，时分秒）所以我们需要将这个时间戳进行计算，一分钟是60秒，所以我们就要算分钟，这些是可以通过模运算来解决这个问题的。不过已经有人
系统 2019-09-27 17:48:52 2186
最近编写自己的rpc小框架,涉及到bytes.这里就想梳理一下编码与python的字符串和字节码(bytes)类型.先上个图,有个印象,随时可以回头看.#前置知识字符：在计算机和电信技术中，一个字符是一个单位的字形、类字形单位或符号的基本信息。即一个字符可以是一个中文汉字、一个英文字母、一个阿拉伯数字、一个标点符号等;字符集：多个字符的集合。例如GB2312是中国国家标准的简体中文字符集;字符编码：将某个字符集中的字符转换成一个唯一编号(码点,二进制数据)
系统 2019-09-27 17:48:25 2186
定义使用内置的defaultdict我们可以很容易的定义一个树形数据结构deftree():returndefaultdict(tree)example:json风格users=tree()users['harold']['username']='bell'users['handler']['username']='master'我们可以使用print(json.dumps(users))以json的形式输出，于是我们看到{'harold':{'usern
系统 2019-09-27 17:47:35 2186
先记录一下我自己像写的一个超级大木马蠕虫的思路。请自行忽略1.本机电脑扫描探测其他电脑2.使用poc验证是否存在漏洞，同时检测是否已经被感染3.如果都满足，感染未感染同时又存在漏洞的机子。4.感染后的机子下载代码。继续以上过程（这样是一台控制几台，几台又控制几台，可以开几台，形成循环。而且不互相知道）5.如何控制自己的这种僵尸网络呢？（开一个特殊的后门）发送一条指令，一传十，十传百。主机信息怎么传递，可传输指令，运行github上的恶意代码，交替运行，由控
系统 2019-09-27 17:47:29 2186
html页面一般都会指定一个编码，如何获取到是处理html页面的第一步，因为错误的编码必然带来后面处理的问题。这里我用python的正则表达式写了个：importrea=["",'','','','','','']b="
系统 2019-09-27 17:47:13 2186
PIL：PythonImagingLibrary，已经是Python平台事实上的图像处理标准库了。PIL功能非常强大，但API却非常简单易用。由于PIL仅支持到Python2.7，加上年久失修，于是一群志愿者在PIL的基础上创建了兼容的版本，名字叫Pillow，支持最新Python3.x，又加入了许多新特性，因此，我们可以直接安装使用Pillow。32位的电脑环境安装pillow如果安装了Anaconda，Pillow就已经可用了。否则，需要在命令行下通过
系统 2019-09-27 17:47:01 2186
