爬虫即网络爬虫,英文是WebSpider。翻译过来就是网络上爬行的蜘蛛,如果把互联网看作一张大网,那么爬虫就是在大网上爬来爬去的蜘蛛,碰到想要的食物,就把他抓取出来。我们在浏览器中输入一个网址,敲击回车,看到网站的页面信息。这就是浏览器请求了网站的服务器,获取到网络资源。那么,爬虫也相当于模拟浏览器发送请求,获得到HTML代码。HTML代码里通常包含了标签和文字信息,我们就从中提取到我们想要的信息。通常爬虫是从某个网站的某个页面开始,爬取这个页面的内容,找
系统 2019-09-27 17:51:07 1688
之前学习C语言的时候,语法之类的都不是很懂,但是已经知道3个情况---流程1.顺序编写(一步一步下去)执行按照上到下;2.判断编写。(就是如果符合什么条件,就做什么。。。。)3.循环编写。(符合特定条件,进行重复的事情)###到了python,我们上一个课,说了if,这里说循环;你不是要问顺序不说吗?自己脑补一下(不需要理会任何条件的,一个个代码执行下去,不是顺序?)for循环和while循环--------------------------------
系统 2019-09-27 17:51:03 1688
最近刚好有朋友遇到个global相关的问题,这里简单学习一下global关键字的用法。想要更好的了解global关键字,首先要熟悉python的全局变量与局部变量的概念。global关键字的作用是可以申明一个局部变量为全局变量,下面看一下实例一、变量作用域的说明这里简单提一下变量作用域的概念,有兴趣的小伙伴,可以查一下相关的博客1、局部变量defa():##菊部变量-,-local=1print(local)##全局无法使用,只有自己可用print(lob
系统 2019-09-27 17:51:01 1688
pythonredis连接有序集合去重的代码如下所述:#-*-coding:utf-8-*-importredisfromconstantimportredis_ip,redis_db,redis_pw,redis_zset_namepool=redis.ConnectionPool(host=redis_ip,db=redis_db,password=redis_pw)#pool=redis.ConnectionPool(db=6,password=re
系统 2019-09-27 17:51:00 1688
Python这门解释性语言也有专门的线程模型,Python虚拟机使用GIL(GlobalInterpreterLock,全局解释器锁)来互斥线程对共享资源的访问,但暂时无法利用多处理器的优势。在Python中我们主要是通过thread和threading这两个模块来实现的,其中Python的threading模块是对thread做了一些包装的,可以更加方便的被使用,所以我们使用threading模块实现多线程编程。这篇文章我们主要来看看Python对多线程
系统 2019-09-27 17:50:59 1688
本文实例讲述了Python实现操纵控制windows注册表的方法。分享给大家供大家参考,具体如下:使用_winreg模块的话基本概念:KEY键Value值函数和作用:CloseKey()-关闭一个KeyConnectRegistry()-链接到其他机器的注册表CreateKey()-创建一个KeyDeleteKey()-删除一个KeyDeleteValue()-删除一个Key里面的值(value)EnumKey()-为已经打开的Key里面的子键建立索引En
系统 2019-09-27 17:50:59 1688
zip在python3中,处于优化内存的考虑,只能访问一次!!!(python2中可以访问多次),童鞋们一定要注意,*coding:utf-8*zip()函数的定义:从参数中的多个迭代器取元素组合成一个新的迭代器;返回:返回一个zip对象,其内部元素为元组;可以转化为列表或元组;传入参数:元组、列表、字典等迭代器。当zip()函数中只有一个参数时,zip(iterable)从iterable中依次取一个元组,组成一个元组。在python3.0中有个大坑,z
系统 2019-09-27 17:50:58 1688
lxml是python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高XPath,全称XMLPathLanguage,即XML路径语言,它是一门在XML文档中查找信息的语言,它最初是用来搜寻XML文档的,但是它同样适用于HTML文档的搜索XPath的选择功能十分强大,它提供了非常简明的路径选择表达式,另外,它还提供了超过100个内建函数,用于字符串、数值、时间的匹配以及节点、序列的处理等,几乎所有我们想要定位的节点,都可
系统 2019-09-27 17:50:58 1688
在python中有一个telnetlib,它的作用就是建立一个通到主机的telnet连线实体,然后向主机传送命令(就像用键盘输入一样)并从该连线接收数据。利用它,我们可以把示范1的所有内容从"人-机'交流变成'机-机'交流,这样也可以做到处理pop3邮箱的工作。不过既然我们已经试过了pop3,这一次可以试用真的telnet埠23做些好玩的东西。#telnetdo.py#!/usr/bin/envpythondeftelnetdo(HOST=None,USE
系统 2019-09-27 17:50:56 1688
代理ProxyHandler处理器(代理)1、代理的原理:在请求目的网站之前,先请求代理服务器,然后让代理服务器去请求目的网站,代理服务器拿到目的服务器的网站数据后,再转发给我们的代码。2、http://httpbin.org/ip这个网站可以方便我们查看一些http请求参数3、使用代理的方法:ProxyHandle这个方法需要传入一个字典,key:请求schema,value:代理服务器ip+端口fromurllibimportrequest##url=
系统 2019-09-27 17:50:55 1688