fabric是一个python包是一个基于ssh的部署工具包通常用来对网站微服务等等的批量部署例如我有5台线上服务器可以通过一台对着5台分发,实现自动部署的目的。简单介绍下fabric的常用命令常用命令lcd(dir):进入本机某目录local(cmd):本机上执行命令cd(dir):进入服务器某目录run(cmd):服务器上执行命令FabricFabric是一个python的远程执行shell的库,同时它也是一个命令行工具。它提供了丰富的同SSH交互的接
系统 2019-09-27 17:54:45 2202
Python中的is和==比较两个对象的两种方法在Python中有两种方式比较两个对象是否相等,分别是is和==,两者之间是不同的==比较的是值(如同java中的equals方法)is比较的是引用(可以看作比较内存地址,类似于java中的==)对于:>>>n=1>>>nis1True>>>b='1'>>>bis1False>>>n==bFalse由于1和'1'不管在值上面还是在引用上面都不同,所以结果都为false对于:>>>n=1>>>nis1True这
系统 2019-09-27 17:53:48 2202
通常在使用Spark算子函数,比如使用map()或者reduce函数我们向函数传入条件时,函数内部可以使用驱动程序中定义的变量,但是这样会使集群中所有任务都会得到变量新的副本,这些副本的更新不会传播回驱动程序,导致读写共享变量效率低下或者内存溢出,为了解决这个问题Spark提供了两种共享变量类型:广播变量和累加器广播变量:用来高效分发较大对象,只能在Driver定义,不能在Executor端定义,同时RDD不存储数据所以不能广播出去累加器:用来对信息进行聚
系统 2019-09-27 17:52:33 2202
该GIF图来自于官网,文末有给出链接。描述依托于百度网盘巨大的的云存储空间,绝大数人会习惯性的将一些资料什么的存储到上面,但是有的私密链接需要提取码,但是让每个想下载私密资源的人记住每一个提取码显然是不现实的。这个时候,云盘万能钥匙诞生了,我们通过安装相应的浏览器插件就可以自动获获取相应链接的提取码。我在Github上看了一下,有WebJS版的,python版的貌似还没有找到,所以我参照了JS版本和官网的请求接口写了两种方式的获取脚本。实现下述两种方式的具
系统 2019-09-27 17:52:27 2202
一代码编排1缩进4个空格的缩进(编辑器都可以完成此功能),不要使用Tap,更不能混合使用Tap和空格。2每行最大长度79,换行可以使用反斜杠,最好使用圆括号。换行点要在操作符的后边敲回车。3类和top-level函数定义之间空两行;类中的方法定义之间空一行;函数内逻辑无关段落之间空一行;其他地方尽量不要再空行。二文档编排1模块内容的顺序:模块说明和docstring―import―globals&constants―其他定义。其中import部分,又按标准
系统 2019-09-27 17:51:16 2202
操作:输入带分页的地址,去掉最后面的数字,设置一下起始页数和终点页数功能:下载对应页码的所有页面并储存为HTML文件,以当前时间命名代码:#-*-coding:utf-8-*-#----------------------------#程序:百度贴吧的小爬虫#日期:2015/03/28#语言:Python2.7#操作:输入带分页的地址,去掉最后面的数字,设置一下起始页数和终点页数#功能:下载对应页码的所有页面并储存为HTML文件,以当前时间命名#-----
系统 2019-09-27 17:51:10 2202
主要目标识别图中红色的裂缝,尝试了几种不同的方法,最后发现比较每一点的RGB差值可以很好的解决这个问题,也就是提取图片中的红色相关信息。处理结果如下:实现的代码如下,注意opencv读入的图片通道顺序是bgr:importcv2importmatplotlib.pyplotaspltimagepath=r'tear/11.jpg'image=cv2.imread(imagepath)height,width,channel=image.shapeforii
系统 2019-09-27 17:50:25 2202
import1、执行对应文件2、引入变量import寻找模块从PATH路径寻找,查看PATH可以先导入sys模块然后打印sys.pathimport执行导入模块,是以当前py文件的PATH路径去找模块。假如当前文件导入了A模块,而这个模块又导入了B模块,如果当前文件恰好想用B模块里面的某个函数,这可能会出问题,因为当前文件调用B模块函数时候,是以当前文件PATH去找,当前文件PATH没有B模块。调用其他包里的模块,如图:ss.py调用add.py,语法:f
系统 2019-09-27 17:49:50 2202
王者荣耀这么久了,还没上王者?哈哈哈,看过来,是不是对英雄理解的不够透彻呢,是不是还没有很好的为英雄分类呢,今天就来看看英雄分类技术栈一、EM聚类简介二、爬取网上的英雄初始属性值三、做成饼图EM聚类简介EM英文名是ExpectationMaximization,也叫最大期望算法。在统计计算中,最大期望(EM)算法是在概率(probabilistic)模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐藏变量(LatentVari
系统 2019-09-27 17:48:30 2202
在爬取的过程中难免发生ip被封和403错误等等,这都是网站检测出你是爬虫而进行反爬措施,在这里为大家总结一下怎么用IP代理防止被封首先,设置等待时间:常见的设置等待时间有两种,一种是显性等待时间(强制停几秒),一种是隐性等待时间(看具体情况,比如根据元素加载完成需要时间而等待)图1是显性等待时间设置,图2是隐性第二步,修改请求头:识别你是机器人还是人类浏览器浏览的重要依据就是User-Agent,比如人类用浏览器浏览就会使这个样子的User-Agent:'
系统 2019-09-27 17:46:26 2202