Python

Python 获取 datax 执行结果保存到数据库的方法

执行datax作业,创建执行文件,在crontab中每天1点(下面有关系)执行:其中job_start及job_finish这两行记录是自己添加的,为了方便识别出哪张表。#!/bin/bashsource/etc/profileuser1="root"pass1="pwd"user2="root"pass2="pwd"job_path="/opt/datax/job/"jobfile=(job_table_a.jsonjob_table_b.json)fo

系统 2019-09-27 17:54:45 2544

Python

bat批处理执行python 的几种方式

第一种方式:@echooffC:cdC:\Users\administrator\Desktopstartpythonapidemo.pyexit第二种方式:startcmd/K"C:&&cdC:\Users\administrator\Desktop&&pythonapidemo.py"说明:这两种处理都是可以的,都是python通过执行bat脚本运行python文件,直接照着格式书写就行了,没有什么特殊的要求。第三种方式:用python打成包文件运行即

系统 2019-09-27 17:52:41 2544

Python

python爬虫,处理POST请求

我们在python爬虫写脚本时,往往会遇到些问题,小编前几天也遇到了个小问题。在这里想跟大家分享下,以免大家走更多的弯路列如我要去有道翻译,去爬取我们自己所翻译的东西。importurllib.requestimporturllib.parseurl='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'headers={"User-Agent":"Mozilla/5.0(

系统 2019-09-27 17:52:36 2544

Python

Python 进程之间共享数据(全局变量)的方法

进程之间共享数据(数值型):importmultiprocessingdeffunc(num):num.value=10.78#子进程改变数值的值,主进程跟着改变if__name__=="__main__":num=multiprocessing.Value("d",10.0)#d表示数值,主进程与子进程共享这个value。(主进程与子进程都是用的同一个value)print(num.value)p=multiprocessing.Process(targ

系统 2019-09-27 17:51:28 2544

Python

python openCV 基于TCP的socket网络传输视频(二)

createtime:2019年7月8日我在网上找了好多,现在基本实现了传输视频的功能,其思路是:首先得先了解如何使用openCV采集摄像头数据,其次得了解pythonsocket网络编程。因为socket不能直接传输openCV采集的数据,所以还需要转码操作。在该版本我实现最基本的功能,客户端采集,服务端接收(也可以倒过来,看个人需求),使用类实现。服务端#!usr/bin/python#coding=utf-8importsocketimportcv2

系统 2019-09-27 17:50:00 2544

Python

Python配置虚拟环境图文步骤

使用Python进行项目开发时,由于不同的项目需要,可能会配置多个开发环境,不同开发环境之间的项目依赖包如果混合在一起,可能会引起意想不到的错误,本文主要介绍如何通过虚拟环境隔离不同开发环境,方便不同开发环境的共存。安装Python,本文以Python3.4为例。关于如何安装Python3.4,请参考其他经验,本文不在重复赘述。注意:将安装目录添加到环境变量中,否则无法在其他目录启动python。安装成功后截图如下所示:进入Python安装目录中的脚本目录

系统 2019-09-27 17:49:21 2544

Python

Python实现12306火车票抢票系统

Python实现12306火车票抢票系统效果图如下所示:具体代码如下所示:importurllib.requestasrequestimporthttp.cookiejarascookiejarimportreimportosimportsmtplibfromemail.mime.textimportMIMETextimporttimeuser=''#登陆邮箱pwd=''#邮箱密码to=['']#发送的邮箱withopen('D:\Python源码\cit

系统 2019-09-27 17:48:36 2544

Python

Python 中的时间处理包datetime和arrow

Python中的时间处理包datetime和arrow在获取贝壳分的时候用到了时间处理函数,想要获取上个月时间包括年、月、日等#方法一:today=datetime.date.today()#1.获取「今天」first=today.replace(day=1)#2.获取当前月的第一天last_month=first-datetime.timedelta(days=1)#3.减一天,得到上个月的最后一天print(last_month.strftime("%

系统 2019-09-27 17:47:23 2544

Python

Python:计算样本协方差矩阵

importnumpyasnpx=np.array([2,4,5,3,6,9,40,25,32])print(np.cov(x)*8)print(np.var(x)*9)y=np.array([[1,5,6],[4,3,9],[4,2,9],[4,7,2]])print(y.shape)print(np.cov(y,rowvar=False))#其中rowvar是布尔类型。默认为true是将行作为独立的变量、如果是flase的话,则将列作为独立的变量。#4

系统 2019-09-27 17:46:10 2544

Python

基于Python实现对PDF文件的OCR识别

最近在做一个项目的时候,需要将PDF文件作为输入,从中输出文本,然后将文本存入数据库中。为此,我找寻了很久的解决方案,最终才确定使用tesseract。所以不要浪费时间了,我们开始吧。1.安装tesseract在不同的系统中安装tesseract非常容易。为了简便,我们以Ubuntu为例。在Ubuntu中你仅仅需要运行以下命令:这将会安装支持3种不同语言的tesseract。2.安装PyOCR现在我们还需要安装tesseract的Python接口。幸运的是

系统 2019-09-27 17:37:44 2544

Python

使用EDITPLUS结合PythonWin IDE (一)

老早就接触到PYTHON但是一直没有坚持深入学习,最近单位要求准备把目前的系统移植到LINUX系统上去,以前的都是JavaScript脚本结合我们自己的中间件做类似.NET的开发。公司要求所有人尽快将Python熟悉起来,年底准备招人配合移植系统,今天开始琢磨了一下,看了些资料,发现PythonWin似乎更适合初学,对这个IDE提供的界面不是太满意,琢磨了一下,还是觉得用我最喜欢的Editplus结合起来感觉更好些!把今天初步战果写出来,以便备用(以前没注

系统 2019-08-29 23:34:09 2544

Python

Python编写带选项的命令行程序方法

运行python程序时,有时需要在命令行传入一些参数。常见的方式是在执行时,在脚本名后直接追加空格分隔的参数列表(例如pythontest.pyarg0arg1arg2),然后在脚本中就可以通过sys.argv获取所有的命令行参数。这种方式的优点是传参方便,参数获取简单;缺点是执行脚本时,必须知道参数的顺序,并且不能设置默认值,所有参数每次都必须传入。还有一种命令行传参方式是通过带选项的方式进行传参(例如pythontest.py-p0=arg0-p1=a

系统 2019-09-27 17:57:19 2543

Python

Python算法应用实战之栈详

转载:https://www.jb51.net/article/104526.htm栈(stack)栈又称之为堆栈是一个特殊的有序表,其插入和删除操作都在栈顶进行操作,并且按照先进后出,后进先出的规则进行运作。如下图所示例如枪的弹匣,第一颗放进弹匣的子弹反而在发射出去的时候是最后一个,而最后放入弹匣的一颗子弹在打出去的时候是第一颗发射出去的。栈的接口如果你创建了一个栈,那么那么应该具有以下接口来进行对栈的操作接口描述push()入栈pop()出栈isEmp

系统 2019-09-27 17:55:32 2543

Python

python 一次学完列表生成式、生成器、迭代器、可迭代对象。

一、列表生成式ListComprehensionsPython内置的非常简单却强大的可以用来创建list的生成式。使用range和for循环创建In[21]:for循环后面还可以加上if判断还可以使用两层循环,可以生成全排列列表生成式也可以使用两个变量来生成list:二、生成器generator列表受到内存限制,容量肯定是有限的。而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都

系统 2019-09-27 17:55:16 2543

Python

详解python pandas 分组统计的方法

首先,看看本文所面向的应用场景:我们有一个数据集df,现在想统计数据中某一列每个元素的出现次数。这个在我们前面文章《如何画直方图》中已经介绍了方法,利用value_counts()就可以实现(具体回看文章)但是,现在,我们考虑另外一个场景,我们假如要想统计其中两列元素出现次数呢?举个栗子:在df数据集中,如果我们想统计A、B两列的元素的出现情况,也就是说,得到如下表。从上面的最后一列可以看到,在A、B两列中,12出现了2次,14出现1次,16出现1次,23

系统 2019-09-27 17:54:01 2543