做大数据的童鞋经常会写定时任务跑数据，由于任务之间的依赖（一般都是下游依赖上游的数据产出），所以经常会导致数据获取失败，因为很多人发现数据失败后都会去查看日志，然后手动去执行自己的任务。下面我实现了一个自动重复执行去数据库取数，如果失败后自动重新去获取，直到把数据获取到。建数据表：CREATETABLE`testtable`(2`id`int(11)unsignedNOTNULLAUTO_INCREMENT,3`name`varchar(20)NOTNUL
系统 2019-09-27 17:56:10 2018
这一章的代码解读的难点是：涉及到两个函数的求导问题。①sigmoid函数的求导:∂yj∂xj=yj(1−yj)\frac{\partialy_j}{\partialx_j}=y_j(1-y_j)∂xj∂yj=yj(1−yj)出处是[2]②softmax函数的求导：∂E∂zi=ai−yi\frac{\partialE}{\partialz_i}=a_i-y_i∂zi∂E=ai−yi出处是[1]、-----------------------
系统 2019-09-27 17:55:46 2018
一、PyQt5安装：1、国内镜像：pipinstallPyQt5-ihttps://pypi.douban.com/simple安装完成之后还要安装PyQt5的工具包：pipinstallPyQt5-tools-ihttps://pypi.douban.com/simple2、官网的：pipinstallPyQt5pipinstallPyQt5-tools3、也可以在PyCharm中安装：4、安装完毕之后用下面的代码测试如果运行成功表示安装成功：impor
系统 2019-09-27 17:53:46 2018
一、什么是匿名函数关键字lambda表示匿名函数。冒号前面的x表示形参，冒号后面是返回值。例：计算1~10对应数字的平方，以列表形式输出。定义法函数：deffun(x):returnx**2print(list(map(fun,range(1,11))))匿名函数法：print(list(map(lambdax:x**2,range(1,11))))二、匿名函数的特点当我们在传入函数时，有些时候，不需要显式地定义函数，直接传入匿名函数更方便。匿名函数有个限
系统 2019-09-27 17:53:21 2018
密码算法程序设计实践选的SHA-1。在写的过程中遇到一丢丢关于python移位的问题，记录一下。SHA-1其中第一步需要填充消息。简单阐述一下sha1填充消息的过程：如输入消息“123”，先转成ascii码――313233，消息长度为3*8=24。即001100010011001000110011然后填充一个1占1bit，再填充447-24bit个0。10000000...00000000最后64bit加上消息长度24的二进制00011000二进制相当于是
系统 2019-09-27 17:52:18 2018
在程序开发时候一套好的开发环境和工具栈，可以帮我们极大的提高开发的效率，避免把大量时间浪费在周边琐事上。本文以Python的为例，教大家如何快速打造优秀的Python的项目开发环境：内容涵盖了模块依赖管理，代码风格管理，调试测试管理和Git版本管理，使用githook做项目规范检查等。pipxPipx是一款跨平台的Python环境隔离管理工具，可以在支持在Linux，MacOS和Windows上运行.Pipx默认在是个人用户下建立虚拟Python环境，并以
系统 2019-09-27 17:51:53 2018
有如下的一堆mac地址,需要更改成一定格式,如mac='902B345FB021'改为mac='90-2B-34-5F-B0-21'。借助python脚本,可以轻松实现,原理就是:字符串的按照固定长度拆分。1,文件mac.txt,保存了如下的mac地址:50E549E32ECB902B3413EFA650E549ECBA1C902B3457B16F1C6F65296DF9902B34131A1450E549E3E2F850E5493A2696902B345
系统 2019-09-27 17:51:20 2018
这个问题在网上找了很长时间，也没有很好的解决方案，大多数都是用的ftp.retrlines('LIST',处理函数)来获得文件的时间但是格式是所以很难做成时间戳，获取时间的目的不就是用来比较，所以下面个大家来个可以获取时间然后转化成时间戳的方式首先函数直接获取ftp文件的时间然后我的做法是，先将时间转化成列表，然后做成时间元组，再用函数转化成时间戳。L=list(ftp.sendcmd('MDTM'+"/home/tarena/%s/%s"%(files_
系统 2019-09-27 17:50:49 2018
目录1、常见并发类型2、同步版本3、多线程4、异步IO5、多进程6、总结1、常见并发类型I/O密集型：蓝色框表示程序执行工作的时间，红色框表示等待I/O操作完成的时间。此图没有按比例显示，因为internet上的请求可能比CPU指令要多花费几个数量级的时间，所以你的程序可能会花费大部分时间进行等待。CPU密集型：IO密集型程序将时间花在cpu计算上。常见并发类型以及区别：2、同步版本我们将使用requests访问100个网页，使用同步的方式，request
系统 2019-09-27 17:50:10 2018
模块概述如果说模块是按照逻辑来组织Python代码的方法,那么文件便是物理层上组织模块的方法。因此,**一个文件被看作是一个独立模块,一个模块也可以被看作是一个文件。模块的文件名就是模块的名字加上扩展名.py。与其它可以导入类(class)的语言不同,在Python中你导入的是模块或模块属性**。模块名称空间一个名称空间就是一个名称到对象的关系映射.导入模块导入模块整体(import)方式一复制代码代码如下:importmodule1importmodul
系统 2019-09-27 17:50:08 2018
