搜索到与相关的文章
Python

Python3网络爬虫入门详解(一)

爬虫的概念:爬虫就是获取网页并提取和保存信息的自动化程序爬虫的分类:主要有四类:通用网络爬虫,聚焦网络爬虫,增量式网络爬虫,深层网络爬虫爬虫的流程:常见的几种爬虫问题:主要有五类:静态网页的爬取,Ajax数据的爬取,动态渲染页面爬取,验证码的识别,代理的使用常见的爬虫框架:pyspider框架,Scrapy框架分布式爬虫:在多台机器上运行爬虫程序爬虫的一些常用"库":解析库:lxml;BeautifulSoup;pyquery;tesserocr请求库:r

系统 2019-09-27 17:56:05 1991

Python

Python进阶之使用selenium爬取淘宝商品信息功能示例

本文实例讲述了Python进阶之使用selenium爬取淘宝商品信息功能。分享给大家供大家参考,具体如下:#encoding=utf-8__author__='Jonny'__location__='西安'__date__='2018-05-14''''需要的基本开发库文件:requests,pymongo,pyquery,selenium开发流程:搜索关键字:利用selenium驱动浏览器搜索关键字,得到查询后的商品列表分析页码并翻页:得到商品页码数,模

系统 2019-09-27 17:55:34 1991

Python

Python函数系列之装饰器(三)

在Python中,装饰器的本质就是Python中的一个函数,其来源自Python面向对象。装饰器是在函数调用之上的修饰。这些修饰仅是当声明一个函数或方法的时候,才会被应用额外的调用。有点类似Java中的AOP(面向方面编程)。同时在设计模式中,还有装饰器模式,也即是:装饰器模式(DecoratorPattern)允许向一个现有的对象添加新的功能,同时又不改变其结构。原则是:不修改被修饰函数的源代码,不修改被修饰函数的调用方式。装饰器的用途:引入日志增加计时

系统 2019-09-27 17:55:09 1991

Python

python 标准差计算的实现(std)

numpy.std()求标准差的时候默认是除以n的,即是有偏的,np.std无偏样本标准差方式为加入参数ddof=1;pandas.std()默认是除以n-1的,即是无偏的,如果想和numpy.std()一样有偏,需要加上参数ddof=0,即pandas.std(ddof=0);DataFrame的describe()中就包含有std();demo:>>>aarray([0,1,2,3,4,5,6,7,8,9])>>>np.std(a,ddof=1)3.0

系统 2019-09-27 17:54:58 1991

Python

如何通过python的fabric包完成代码上传部署

首先是安装fabric包pipinstallfabricfabric常用参数-l:显示定义好的任务函数名-f:指定fab入口文件,默认入口文件名为fabfile.py-H:指定目标主机,多台主机用","号分割fabric常用APIlocal:执行本地命令,如:local('uname-s')lcd:切换本地目录,如:lcd('/home')cd:切换远程目录,如:cd('/etc')run:执行远程命令,如:run('free-m')sudo:sudo方式

系统 2019-09-27 17:54:56 1991

Python

python爬虫 爬取超清壁纸代码实例

简介壁纸的选择其实很大程度上能看出电脑主人的内心世界,有的人喜欢风景,有的人喜欢星空,有的人喜欢美女,有的人喜欢动物。然而,终究有一天你已经产生审美疲劳了,但你下定决定要换壁纸的时候,又发现网上的壁纸要么分辨率低,要么带有水印。壁纸的选择其实很大程度上能看出电脑主人的内心世界,有的人喜欢风景,有的人喜欢星空,有的人喜欢美女,有的人喜欢动物。然而,终究有一天你已经产生审美疲劳了,但你下定决定要换壁纸的时候,又发现网上的壁纸要么分辨率低,要么带有水印。演示图片

系统 2019-09-27 17:54:45 1991

Python

Python类的多重继承问题深入分析

正文首先得说明的是,Python的类分为经典类和新式类经典类是python2.2之前的东西,但是在2.7还在兼容,但是在3之后的版本就只承认新式类了新式类在python2.2之后的版本中都可以使用经典类和新式类的区别在于:经典类是默认没有派生自某个基类的,而新式类是默认派生自object这个基类的:复制代码代码如下:#oldstyleclassA():pass#newstyleclassA(obejct):pass2.经典类在类多重继承的时候是采用从左到右

系统 2019-09-27 17:54:38 1991

Python

Python中栈、队列与优先级队列的实现方法

前言栈、队列和优先级队列都是非常基础的数据结构。Python作为一种“编码高效”的语言,对这些基础的数据结构都有比较好的实现。在业务需求开发过程中,不应该重复造轮子,今天就来看看些数据结构都有哪些实现。0x00栈(Stack)栈是一种LIFO(后进先出)的数据结构,有入栈(push)、出栈(pop)两种操作,且只能操作栈顶元素。在Python中有多种可以实现栈的数据结构。1、listlist是Python内置的列表数据结构,它支持栈的特性,有入栈和出栈操作

系统 2019-09-27 17:52:46 1991

Python

Ucloud api signature 生成 (python3)

importhashlibdef_verfy_ac(private_key,params):items=sorted(params.items(),key=lambdax:x[0])params_data=""foriinitems:params_data=params_data+i[0]+i[1]params_data=params_data+private_keysign=hashlib.sha1()sign.update(params_data.en

系统 2019-09-27 17:52:26 1991

Python

python快速建立超简单的web服务器的实现方法

作为临时测试用python命令来搭建web测试是最好不过的选择了;CD切换到当前目录只需要一句python命令就迅速搭建好了简单的web服务器,pythonlinux自带又无需额外配置安装感觉还是很好用的;python开启web服务器命令python-mSimpleHTTPServer8080端口号可以任意指定一个没有被占用的端口,但必须能通过防火墙;执行完上面命令后,直接输入IP地址加端口号就行了http://:端口号/路径如:http://192.16

系统 2019-09-27 17:52:09 1991