简述从官网下载了Python3.7.4,直接编译安装后,使用pip3出现了报错信息:Can'tconnecttoHTTPSURLbecausetheSSLmoduleisnotavailable错误原因在Python3.7之后的版本,依赖的openssl,必须要是1.1或者1.0.2之后的版本,或者安装了2.6.4之后的libressl。image.png而本地的openssl依然是1.0.1e的。[root@localhost~]#opensslvers
系统 2019-09-27 17:52:58 2328
网络爬虫学习笔记(2)1资料《Python网络爬虫从入门到实践》唐松,陈志铨。主要面向windows平台下的python3。菜鸟教程-》python2笔记2-1Python基础(1)++python的列表还有一种只读格式——元组Tuple,它用()进行赋值,且只能在初始化时赋值。列表有追加元素的内置方法append()字典有内置方法keys()(获得所有键的值),values()元组用“()”标识,列表用“[]”标识,字典用“{}”标识type(变量)查看
系统 2019-09-27 17:52:48 2328
通常在使用Spark算子函数,比如使用map()或者reduce函数我们向函数传入条件时,函数内部可以使用驱动程序中定义的变量,但是这样会使集群中所有任务都会得到变量新的副本,这些副本的更新不会传播回驱动程序,导致读写共享变量效率低下或者内存溢出,为了解决这个问题Spark提供了两种共享变量类型:广播变量和累加器广播变量:用来高效分发较大对象,只能在Driver定义,不能在Executor端定义,同时RDD不存储数据所以不能广播出去累加器:用来对信息进行聚
系统 2019-09-27 17:52:33 2328
Python爬虫之设置seleniumwebdriver等待ajax技术出现使异步加载方式呈现数据的网站越来越多,当浏览器在加载页面时,页面上的元素可能并不是同时被加载完成,这给定位元素的定位增加了困难。如果因为在加载某个元素时延迟而造成ElementNotVisibleException(不可见元素异常)的情况出现,那么就会降低自动化脚本的稳定性,设置元素等待可改善这种问题造成的不稳定。一、强制等待强制等待是利用python语言自带的time库中的sle
系统 2019-09-27 17:51:22 2328
1需求,heeaders参数需要拼接中文参数param解决如下url='https://....search?keyword='+param+'&templateId=&page=1&pageSize=10'headers={"Accept":"application/json,text/javascript,*/*;q=0.01","Accept-Encoding":"gzip,deflate,br","Accept-Language":"zh-CN,z
系统 2019-09-27 17:51:00 2328
主要目标识别图中红色的裂缝,尝试了几种不同的方法,最后发现比较每一点的RGB差值可以很好的解决这个问题,也就是提取图片中的红色相关信息。处理结果如下:实现的代码如下,注意opencv读入的图片通道顺序是bgr:importcv2importmatplotlib.pyplotaspltimagepath=r'tear/11.jpg'image=cv2.imread(imagepath)height,width,channel=image.shapeforii
系统 2019-09-27 17:50:25 2328
常用python读取文件内容的,都知道python有几个不同的函数,完成功能一样,但细节有区别。一、read()读取整个文件,将文件内容(包括换行)放到一个字符串变量中。需要注意的是这个函数对内存的消耗,不推荐在工程中使用。二、readline()读取整行,包括行结束符,并作为字符串返回,保持当前行的内存。特点是不快。:)三、readlines()比上个函数多一个s,功能就有区别了。读取所有行然后把它们作为一个字符串列表返回。就是把全部的readline(
系统 2019-09-27 17:49:29 2328
一、函数的定义及其应用所谓函数,就是把具有独立功能的代码块组织成为一个小模块,在需要的时候调用函数的使用包含两个步骤1.定义函数�C封装独立的功能2.调用函数�C享受封装的成果函数的作用:在开发时,使用函数可以提高编写的效率以及代码的重用‘'函数:函数是带名字的代码块,用于完成具体的工作需要在程序中多次执行同一项任务时,你无需反复编写完成该任务的代码,而只需调用该任务的函数,让python运行其中的代码,你将发现,通过使用函数,程序编写,阅读,测试和修复都
系统 2019-09-27 17:48:58 2328
简述在大多数此类教程中都会不遗余力的介绍如何使用数据库。今天我们对数据库暂且不表,而是来关注另一个在web应用中很重要的特性:如何推送邮件给用户。在某个轻量级应用中我们可能会添加一个如下的邮件服务功能:当用户有了新的粉丝后,我们发送一封邮件通知用户。有很多方法可以实现这个特性,而我们希望提供出一种可复用的通用框架来处理。Flask-Mail介绍对于我们来说是幸运的,现在已经有很多外部插件来处理邮件,虽说不能百分百按照我们的想法去处理,但已经相当接近了。在虚
系统 2019-09-27 17:48:57 2328
写在最前面:带你从最简单的二叉树构造开始,深入理解二叉树的数据结构,ps:不会数据结构的程序猿只能是三流的首先,我们构造一个二叉树这是最标准,也是最简单的二叉树构造方法'''树的构建:3920157'''classTree():'树的实现'def__init__(self,data,left=0,right=0):self.left=leftself.right=rightself.data=datadef__str__(self):returnstr(s
系统 2019-09-27 17:47:24 2328