搜索到与相关的文章
Python

零基础写python爬虫之使用Scrapy框架编写爬虫

网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间。Scrapy是一个使用Python编写的,轻量级的,简单轻巧,并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作,它为我们完成了大量的工作,而不需要自己费大力气去开发。首先先要回答一个问题。问:把网站装进爬虫里,总共分几步?答案很简单,四步:新建项目(Project):新建一个新

系统 2019-09-27 17:54:44 2102

Python

Python 缓存机制与 functools.lru_cache

原文链接:https://kuanghy.github.io/2016/04/20/python-cache缓存是一种将定量数据加以保存以备迎合后续请求的处理方式,旨在加快数据的检索速度。在Python的3.2版本中,引入了一个非常优雅的缓存机器,即functool模块中的lru_cache装饰器。lru_cache原型如下:@functools.lru_cache(maxsize=None,typed=False)使用functools模块的lur_ca

系统 2019-09-27 17:53:45 2102

Python

python之切片

字符串,列表,元组等都可以支持切片截取的操作切片:A【start:end:step】start(默认为0)切片起始位置end(默认为字符长度)切片结束位置,不包括endstep(默认为1),切片的步长,即每几个取第一个,负号表示倒序字符串的第1个字符索引为0A="abcdefg"print(A[0])#取索引0的值,结果为:aprint(A[2:4])#取索引2到4,结果为:cdprint(A[::-1])#取倒序步长1,结果为:gfedcba列表的切片列

系统 2019-09-27 17:53:02 2102

Python

python内存动态分配过程详解

一、前言大多数编译型语言,变量在使用前必须先声明,其中C语言更加苛刻:变量声明必须位于代码块最开始,且在任何其他语句之前。其他语言,想C++和java,允许“随时随地”声明变量,比如,变量声明可以在代码块的中间,不过仍然必须在变量被使用前声明变量的名字和类型。在Python中,无序此类显式变量声明语句,变量在第一次被赋值时自动声明。和其他大多数语言一样,变量只有被创建和赋值后才能被使用。#变量未声明>>>xTraceback(mostrecentcalll

系统 2019-09-27 17:52:14 2102

Python

python email smtplib模块发送邮件代码实例

本例使用QQ邮箱测试,需要打开QQ邮箱的smtp协议,获取授权码代码内容如下:#!/usr/bin/envpython#_*_coding:utf-8_*___author__='junxi'importsmtplibfromemail.mime.textimportMIMEText#文本模式#msg=MIMEText('sendbypython...','plain','utf-8')#html格式msg=MIMEText('Hello'+'sendby

系统 2019-09-27 17:51:26 2102

Python

基于python的selenium两种文件上传操作实现详解

方法一、input标签上传如果是input标签,可以直接输入路径,那么可以直接调用send_keys输入路径,这里不做过多赘述,前文有相关操作方法。方法二、非input标签上传这种上传方式需要借助第三方工具,主要有以下三种情况:1.AutoIt去调用它生成的au3或者exe格式的文件2.SendKeys第三方库(目前只支持到2.7版本)网址:https://pypi.python.org/pypi/SendKeys/3.Python的pywin32库,通过

系统 2019-09-27 17:50:49 2102

Python

python中dict字典的查询键值对 遍历 排序 创建 访问 更新 删除基础

字典是另一种可变容器模型,且可存储任意类型对象。字典的每个键值(key=>value)对用冒号(:)分割,每个对之间用逗号(,)分割,整个字典包括在花括号({})中;字典值可以没有限制地取任何python对象,既可以是标准的对象,也可以是用户定义的;但键不行,如果同一个键被赋值两次,后一个值会被记住。值可以取任何数据类型,但键必须是不可变的,如字符串,数字或元组(列表这样的可变类型不能作为键)。一、字典的创建、访问:dict={'Name':'Zara',

系统 2019-09-27 17:50:44 2102

Python

python实时检测键盘输入函数的示例

在嵌入式、尤其是机器人的python编程中,经常需要实时检测用户的键盘输入来随时控制机器人,这段代码可以帮助我们提取用户输入的字符,并在按下键盘的时候作出反应。importsysimportttyimporttermiosdefreadchar():fd=sys.stdin.fileno()old_settings=termios.tcgetattr(fd)try:tty.setraw(sys.stdin.fileno())ch=sys.stdin.rea

系统 2019-09-27 17:50:35 2102

Python

python笔试陷阱1

test_list=[{'data':1,'no':301},{'data':2,'no':401},{'data':4,'no':201},{'data':6,'no':101},{'data':5,'no':303}]new_list=list(test_list)#print(new_list)formatchintest_list:ifmatch['no']>300:match['no']='BF'else:match['no']='BR'#pri

系统 2019-09-27 17:49:17 2102

Python

解决Python设置函数调用超时,进程卡住的问题

背景:最近写的Python代码不知为何,总是执行到一半卡住不动,为了使程序能够继续运行,设置了函数调用超时机制。代码:importtimeimportsignaldeftest(i):time.sleep(i%4)print"%dwithintime"%(i)returniif__name__=='__main__':defhandler(signum,frame):raiseAssertionErrorforiinrange(1,10):try:sign

系统 2019-09-27 17:48:29 2102