前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，用来解决简单的贴吧下载，绩点运算自然不在话下。不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。于是乎，爬虫框架Scrapy就这样出场了！Scrapy=Scrach+Python，Scrach这个单词是抓取的意思，Scrapy的官网地址：点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照：//www.jb51.net/article/48607.htm
系统 2019-09-27 17:54:46 2196
简介壁纸的选择其实很大程度上能看出电脑主人的内心世界，有的人喜欢风景，有的人喜欢星空，有的人喜欢美女，有的人喜欢动物。然而，终究有一天你已经产生审美疲劳了，但你下定决定要换壁纸的时候，又发现网上的壁纸要么分辨率低，要么带有水印。壁纸的选择其实很大程度上能看出电脑主人的内心世界，有的人喜欢风景，有的人喜欢星空，有的人喜欢美女，有的人喜欢动物。然而，终究有一天你已经产生审美疲劳了，但你下定决定要换壁纸的时候，又发现网上的壁纸要么分辨率低，要么带有水印。演示图片
系统 2019-09-27 17:54:45 2196
python中random的常用方法总结一、random常用模块1.random.random()随机生成一个小数print(random.random())#输出0.60605621179967842.random.randint(m,n)随机生成一个m到n的整数（包括n）print(random.randint(1,5))#输出53.random.randrange(m,n)随机生成m到n中的一个数，包括m但是不包括nprint(random.rand
系统 2019-09-27 17:54:35 2196
最近在实习，boss给布置了一个python的小任务，学习过程中发现copy（）和deepcopy（）这对好基友实在是有点过分，搞的博主就有点傻傻分不清啊，但是呢本着一探到底的精神，还是要查资料搞清楚这对好基友的区别。其实呢，copy()与deepcopy()之间的区分必须要涉及到python对于数据的存储方式。首先直接上结论：―�C我们寻常意义的复制就是深复制，即将被复制对象完全再复制一遍作为独立的新个体单独存在。所以改变原有被复制对象不会对已经复制出来
系统 2019-09-27 17:53:42 2196
代码如下所示：#-*-coding:-*-importioLIMIT=150000file_count=0url_list=[]withio.open('D:\DB_NEW_bak\DB_NEW_20171009_bak.sql','r',encoding='utf-16')asf:forlineinf:url_list.append(line)iflen(url_list)
系统 2019-09-27 17:53:40 2196
基于TCP协议的套接字编程实现电话沟通为例,这里传递的是字符,可以自己尝试去发送一个文件#服务端importsocket#1.符合TCP协议的手机server=socket.socket(socket.AF_INET,socket.SOCK_STREAM)#TCP#2.绑定手机号一个服务器,我们自己的电脑作为服务器的话,用自己的IP地址server.bind(('127.0.0.1',8000))#127.0.0.1代表本地#server.bind(('1
系统 2019-09-27 17:53:04 2196
Python爬虫之selenium高级功能原文地址表单操作元素拖拽页面切换弹窗处理表单操作表单里面会有文本框、密码框、下拉框、登陆框等。这些涉及与页面的交互，比如输入、删除、点击等。前提是找到页面中的元素。例如下面有一个表单输入框："text"name="passwd"id="passwd-id"/>获取这个元素的方法：element=driver.find_element_by_id("passwd-id")element=driver.find_ele
系统 2019-09-27 17:53:02 2196
前言栈、队列和优先级队列都是非常基础的数据结构。Python作为一种“编码高效”的语言，对这些基础的数据结构都有比较好的实现。在业务需求开发过程中，不应该重复造轮子，今天就来看看些数据结构都有哪些实现。0x00栈(Stack)栈是一种LIFO(后进先出)的数据结构，有入栈(push)、出栈(pop)两种操作，且只能操作栈顶元素。在Python中有多种可以实现栈的数据结构。1、listlist是Python内置的列表数据结构，它支持栈的特性，有入栈和出栈操作
系统 2019-09-27 17:52:46 2196
原理在网页源码中如果出现将用户输入数据进行反序列化当成参数输出时,出现漏洞,可造成任意命令执行例如网页源码try:become=self.get_argument('become')p=pickle.loads(urllib.unquote(become))returnself.render('form.html',res=p,member=1)except:returnself.render('form.html',res='ThisisBlackTec
系统 2019-09-27 17:51:41 2196
Python标准库中有很多实用的工具类，但是在具体使用时，标准库文档上对使用细节描述的并不清楚，比如urllib2这个HTTP客户端库。这里总结了一些urllib2的使用细节。1.Proxy的设置2.Timeout设置3.在HTTPRequest中加入特定的Header4.Redirect5.Cookie6.使用HTTP的PUT和DELETE方法7.得到HTTP的返回码8.DebugLogProxy的设置urllib2默认会使用环境变量http_proxy
系统 2019-09-27 17:51:34 2196
