Python

Python3环境安装Scrapy爬虫框架过程及常见错误

Windows•安装lxml最好的安装方式是通过wheel文件来安装,http://www.lfd.uci.edu/~gohlke/pythonlibs/,从该网站找到lxml的相关文件。假如是Python3.5版本,WIndows64位系统,那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl这个文件并下载,然后通过pip安装。下载之后,运行如下命令安装:pip3installwheelpip3installlxml‑3.7.2

系统 2019-09-27 17:53:34 1485

Python

2019年 python 爬虫面试题 参考答案不对的请指出 持续更新 7/7

1.import导入模块importxxx,xxx,xxx可以同时导入多个库建议每次导入一个。fromxxximportxx从模块中导入指定方法xx()导入的方法就直接用2.python基本数据类型数字(intfloatlongcomplex(复数))字符串列表字典元组集合py3去除long了,拥抱py3吧其中complex是高中数学知识,不知道的就直接百度。3.区分可变数据类型和不可变数据类型就是变量的内存地址变不变的问题可变数据类型:字典dict,列表

系统 2019-09-27 17:53:32 1485

Python

Python字符串和正则表达式中的反斜杠('\')问题详解

在Python普通字符串中在Python中,我们用'\'来转义某些普通字符,使其成为特殊字符,比如In[1]:print('abc\ndef')#'\n'具有换行的作用abcdefgIn[2]:print('abc\tdef')#'\t'具有制位符的作用abcdefg我们还可以用'\'来转义特殊字符,使其成为普通字符,比如In[3]:print('abc\\tdef')#使'\'成为一个普通的字符,没有转义作用abc\tdefIn[4]:print('ab

系统 2019-09-27 17:53:25 1485

Python

python argparse参数详解

pythonargparse使用注意事项!!!importargparse1.parser=argparse.ArgumentParser(description="testargparse")2.parser.add_argument('-j','--workers',dest='pretrained',default=1,type=int,metavar='N',choices=[1,2],help='numberoftotalepochstorun'

系统 2019-09-27 17:53:09 1485

Python

对python3 Serial 串口助手的接收读取数据方法详解

其实网上已经有许多python语言书写的串口,但大部分都是python2写的,没有找到一个合适的python编写的串口助手,只能自己来写一个串口助手,由于我只需要串口能够接收读取数据就可以了,故而这个串口助手只实现了数据的接收读取。创建串口助手首先需要创建一个类,重构类的实现过程如下:#coding=gb18030importthreadingimporttimeimportserialclassComThread:def__init__(self,Por

系统 2019-09-27 17:53:09 1485

Python

Python中类的初始化特殊方法

什么是特殊方法?当我们在设计一个类的时候,python中有一个用于初始化的方法$__init__$,类似于java中的构造器,这个就是特殊方法,也叫作魔术方法。简单来说,特殊方法可以给你设计的类加上一些神奇的特性,比如可以进行python原生的切片操作,迭代、连乘操作等。在python中,特殊方法以双下划线开始,以双下划线结束。一个大例子数学中有一个表示数的概念叫做向量,但是python中的数据类型却没有。我们来设法用python实现它。首先考虑,向量跟普

系统 2019-09-27 17:53:07 1485

Python

python (二 网络编程)

json格式的限制json格式的key必须是字符串数据类型文件中所有的字符串必须是""如果数字是key,那么dump之后会强行转换成字符串数据类型json支持元组,对元组做value的字典会把元组强制转化成列表,元组不能作为key可以多次dump,但是不能load,但是如果非要用json模块进行dump,最好用dumps写入,loads输出dic={‘1’:‘中国’,‘3’:4}str_dic=json.dumps(dic,ensure_ascii=Fal

系统 2019-09-27 17:53:06 1485

Python

Python爬虫初接触(六)

这篇博客做一个爬虫的实例今天刚看到一个新闻,在7月26日上映的《哪吒之魔童降世》,密钥第二次延期至10月26日。截止至9月17日,《哪吒之魔童降世》票房已超49亿票房,在豆瓣上对该电影的评价有好有坏。说实话,博主看了这个电影真的觉得蛮不错的,因此把短评中的差评爬取下来,看下差评包括哪些方面。目录一、BeautifulSoup二、xpath三、正则表达式一、BeautifulSoup首先需要了解下差评文字内容在哪些标签下:进入豆瓣该电影短评界面,检查元素:可

系统 2019-09-27 17:53:05 1485

Python

python基于Selenium的web自动化框架

1什么是seleniumSelenium是一个基于浏览器的自动化工具,它提供了一种跨平台、跨浏览器的端到端的web自动化解决方案。Selenium主要包括三部分:SeleniumIDE、SeleniumWebDriver和SeleniumGrid:SeleniumIDE:Firefox的一个扩展,它可以进行录制回放,并可以把录制的操作以多种语言(例如java,python等)的形式导出成测试用例。SeleniumWebDriver:提供Web自动化所需的A

系统 2019-09-27 17:52:52 1485

Python

python爬虫解决验证码的思路及示例

如果直接从生成验证码的页面把验证码下载到本地后识别,再构造表单数据发送的话,会有一个验证码同步的问题,即请求了两次验证码,而识别出来的验证码并不是实际需要发送的验证码。有如下几种方法解决。法1:用session:mysession=requests.Session()login_url='http://xxx.com'checkcode_url='http://yyy.com'html=mysession.get(login_url,timeout=60*

系统 2019-09-27 17:52:42 1485

Python

Python Web Flask源码解读(四)——全局变量

关于我一个有思想的程序猿,终身学习实践者,目前在一个创业团队任teamlead,技术栈涉及Android、Python、Java和Go,这个也是我们团队的主要技术栈。Github:https://github.com/hylinux1024微信公众号:终身开发者(angrycode)Flask中全局变量有current_app、request、g和session。不过需要注意的是虽然标题是写着全局变量,但实际上这些变量都跟当前请求的上下文环境有关,下面一起

系统 2019-09-27 17:52:41 1485

Python

python分析apache访问日志脚本分享

#!/usr/bin/envpython#coding=utf-8#------------------------------------------------------#Name:Apache日志分析脚本#Purpose:此脚本只用来分析Apache的访问日志#Version:2.0#Author:LEO#Created:2013-4-26#Modified:2013-5-4#Copyright:(c)LEO2013#---------------

系统 2019-09-27 17:52:04 1485

Python

python3实现斐波那契数列(4种方法)

基础版(list方法)#比较占内存w=int(input("输入一个数字还你一个斐波那契数列:"))list_res=[]deflist_n(n):ifn>=3:res=list_n(n-1)+list_n(n-2)else:res=1returnresprint("开始")foriinrange(0,w):list_res.append(list_n(i+1))print(list_res)升级版#比较占内存num=int(input("输入一个数字还你

系统 2019-09-27 17:52:01 1485

Python

python多线程详解

目录python多线程详解一、线程介绍什么是线程为什么要使用多线程二、线程实现threading模块自定义线程守护线程主线程等待子线程结束多线程共享全局变量互斥锁递归锁信号量(BoundedSemaphore类)事件(Event类)三、GIL(GlobalInterpreterLock)全局解释器锁python多线程详解一、线程介绍什么是线程线程(Thread)也叫轻量级进程,是操作系统能够进行运算调度的最小单位,它被包涵在进程之中,是进程中的实际运作单位

系统 2019-09-27 17:51:56 1485

Python

第十五章、Python多线程同步锁,死锁和递归锁

目录第十五章、Python多线程同步锁,死锁和递归锁1.引子:2.同步锁3.死锁引子:4.递归锁RLock原理:不多说,放代码总结:5.大总结第十五章、Python多线程同步锁,死锁和递归锁1.引子:1.创建线程对象t1=threading.Thread(target=say,args=('tony',))2.启动线程t1.start()后面又说了两个点就是join和守护线程的概念​以上就是python多线程的基本使用​说明:前面说的两个功能是相互独立的,

系统 2019-09-27 17:51:52 1485