-基于如下5点展开requests模块的学习什么是requests模块requests模块是python中原生的基于网络请求的模块,其主要作用是用来模拟浏览器发起请求。功能强大,用法简洁高效。在爬虫领域中占据着半壁江山的地位。为什么要使用requests模块因为在使用urllib模块的时候,会有诸多不便之处,总结如下:手动处理url编码手动处理post请求参数处理cookie和代理操作繁琐......使用requests模块:自动处理url编码自动处理po
系统 2019-09-27 17:52:20 1884
目录python多线程详解一、线程介绍什么是线程为什么要使用多线程二、线程实现threading模块自定义线程守护线程主线程等待子线程结束多线程共享全局变量互斥锁递归锁信号量(BoundedSemaphore类)事件(Event类)三、GIL(GlobalInterpreterLock)全局解释器锁python多线程详解一、线程介绍什么是线程线程(Thread)也叫轻量级进程,是操作系统能够进行运算调度的最小单位,它被包涵在进程之中,是进程中的实际运作单位
系统 2019-09-27 17:51:56 1884
最近刚好有朋友遇到个global相关的问题,这里简单学习一下global关键字的用法。想要更好的了解global关键字,首先要熟悉python的全局变量与局部变量的概念。global关键字的作用是可以申明一个局部变量为全局变量,下面看一下实例一、变量作用域的说明这里简单提一下变量作用域的概念,有兴趣的小伙伴,可以查一下相关的博客1、局部变量defa():##菊部变量-,-local=1print(local)##全局无法使用,只有自己可用print(lob
系统 2019-09-27 17:51:01 1884
函数:split()Python中有split()和os.path.split()两个函数,具体作用如下:split():拆分字符串。通过指定分隔符对字符串进行切片,并返回分割后的字符串列表(list)os.path.split():按照路径将文件名和路径分割开一、函数说明1、split()函数语法:str.split(str="",num=string.count(str))[n]参数说明:str:表示为分隔符,默认为空格,但是不能为空('')。若字符串
系统 2019-09-27 17:50:49 1884
蟒蛇通过硒爬取数据是很多突破封锁的有效途径。但在使用硒中会遇到很多问题,本文就通过一问一答的形式来通熟易懂的普及如何通过硒执行JavaScript的程序,进而获取动态执行后的网页。蟒蛇爬虫编程:用硒执行JavaScript的出错了,该咋改?问题:小王开始学习Python的爬虫编程了,仿佛整个互联网的数据都快被他纳入囊中了。今天,他又试图完成一个高难度动作,他想让硒中抓取到以下HTML后,并自动执行JS脚本,模仿鼠标自动执行一个点击动作。但令他很失望的是,居
系统 2019-09-27 17:50:47 1884
python:如何将excel文件转化成CSV格式importpandasaspddata=pd.read_excel('123.xls','Sheet1',index_col=0)data.to_csv('data.csv',encoding='utf-8')将Excel文件转为csv文件的python脚本#!/usr/bin/envpython__author__="lrtao2010"'''Excel文件转csv文件脚本需要将该脚本直接放到要转换的E
系统 2019-09-27 17:48:54 1884
前言Python生成器(generator)并不是一个晦涩难懂的概念。相比于MetaClass和Closure等概念,其较为容易理解和掌握。但相对于程序结构:顺序、循环和分支而言其又不是特别的直观。无论学习任何的东西,概念都是非常重要的。正确树立并掌握一些基础的概念是灵活和合理运用的前提,本文将以一种通俗易懂的方式介绍一下generator和yield表达式。1.Iterator与Iterable首先明白两点:Iterator(迭代器)是可迭代对象;可迭代
系统 2019-09-27 17:48:41 1884
python的osmodule中有fork()函数用于生成子进程,生成的子进程是父进程的镜像,但是它们有各自的地址空间,子进程复制一份父进程内存给自己,两个进程之间的执行是相互独立的,其执行顺序可以是不确定的、随机的、不可预测的,这点与多线程的执行顺序相似。importosdefchild():print'Anewchild:',os.getpid()print'Parentidis:',os.getppid()os._exit(0)defparent()
系统 2019-09-27 17:48:24 1884
查看python搜索包的路径的实现方法:python搜索包的路径存储在sys.path下查看方法:importsyssys.path临时添加python搜索包路径的方法:方法1:(先进入python)importsyssys.path.append(‘路径')(这种方式仅对当前python有效)方法2:exportPYTHONPATH=路径(这种方式对所有的python有效)永久写入sys.path的方法:方法1:在已有的sys.path搜索路径下添加.p
系统 2019-09-27 17:48:22 1884
很多书籍里面讲的Python备份都是在linux下的,而在xp上测试一下也可以执行备份功能,代码都差不多相同,就是到执行打包的时候是不一样的。而且要用到winrar,其他的压缩文件也是一样的。首先我们要把winrar的路径添加到path里面,这里添加完了要重启机子才有效。这里要注意:把winrar的路径添加到path里面之后一定要重启,否则path的设定不会起作用,打包就会失败!这里用到得命令是:winraraxxx.zipxxxxxxx为任意字符实例代码
系统 2019-09-27 17:47:53 1884