- 军军小站|张军博客
拥有Python标签的文章
Python

python频繁写入文件时提速的方法

问题背景:有一批需要处理的文件,对于每一个文件,都需要调用同一个函数进行处理,相当耗时。有没有加速的办法呢?当然有啦,比如说你将这些文件分成若干批,每一个批次都调用自己写的python脚本进行处理,这样同时运行若干个python程序也可以进行加速。有没有更简单的方法呢?比如说,我一个运行的一个程序里面,同时分为多个线程,然后进行处理?大概思路:将这些个文件路径的list,分成若干个,至于分成多少,要看自己cpu核心有多少,比如你的cpu有32核的,理论上就

系统 2019-09-27 17:55:20 2349

Python

Python中的choice()方法使用详解

choice()方法从一个列表,元组或字符串返回一个随机项。语法以下是choice()方法的语法:choice(seq)注意:此函数是无法直接访问的,所以我们需要导入random模块,然后我们需要使用random对象来调用这个函数。参数seq--这可能是一个列表,元组或字符串...返回值该方法返回一个随机项。例子下面的例子显示了choice()方法的使用。#!/usr/bin/pythonimportrandomprint"choice([1,2,3,5,

系统 2019-09-27 17:47:37 2349

Python

基于python的大数据分析-数据处理(代码实战)

接着上篇继续。数据获取之后并不能直接分析或使用,因为里面有很多无效的垃圾数据,所以必须要经过处理才可以。数据处理的主要内容包括数据清洗、数据抽取、数据交换和数据计算等。数据清洗数据清洗是数据价值链中最关键的一步。垃圾数据即使是通过最好的分析也可能会产生错误的结果,并造成较大的误导。数据清洗就是处理缺失数据以及清除无意义的信息,如删除原始数据集中的无关数据、重复数据、平滑噪音数据,筛选掉与分析主题无关的数据等等。重复值的处理步骤如下:1利用DataFrame

系统 2019-09-27 17:47:29 2349

Python

49个Python学习资源:从初学者到高级玩家都有了

导读:本文为不同阶段的Python学习者从不同角度量身定制了49个学习资源。来源:专知(ID:Quan_Zhuanzhi)01初学者1.WelcometoPython.orghttps://www.python.org/官方Python站点提供了一个开始使用Python生态系统和学习Python的好方法,包括官方文档。2.LearningPythonTheHardWayhttps://learnpythonthehardway.org/book/一本在线书

系统 2019-09-27 17:56:46 2348

Python

跟老齐学Python之传说中的函数编写条规

关于函数的事情,总是说不完的,下面就罗列一些编写函数的注意事项。特别声明,这些事项不是我总结的,我是从一本名字为《LearningPython》的书里面抄过来的,顺便写成了汉语,当然,是按照自己的视角翻译的,里面也夹杂了一些自己的观点。看官也可以理解为源于《LearningPython》但又有点儿不同。•函数具有独立性。也就是常说的不要有太强的耦合性。要让函数能够独立于外部的东西。参数和return语句就是实现这种独立性的最好方法。•尽量不要使用全局变量,

系统 2019-09-27 17:55:29 2348

Python

用Python+OpenCV对比图像质量的几种方法

前言图片的本质就是大量像素在二维平面上的组合,每个像素点用数字化方式记录颜色。可以直观的想象,一张图片就是一个巨大的电子栅格,每个格子内有一盏灯泡,这个灯泡可以变换256的三次方种颜色,就像下面这张卡通像素图一样,越清晰的图片像素越密集。这一次来看看OpenCV提供的两种图像质量对比方式(PSNR&SSIM)及其扩展,这篇文章会涉及到一点数学公式,顺便介绍一个我用过的生成公式的最佳在线编辑工具,秒杀所有收费工具。链接在这里,请收好:https://www.

系统 2019-09-27 17:51:59 2348

Python

Python操作excel的方法总结(xlrd、xlwt、openpyxl)

前言在处理excel数据时发现了xlwt的局限性�C不能写入超过65535行、256列的数据(因为它只支持Excel2003及之前的版本,在这些版本的Excel中行数和列数有此限制),这对于实际应用还是不够的。为此经过一番寻找发现了一个支持07/10/13版本Excel的openpyxl,虽然功能很强大,但是操作起来感觉没有xlwt方便。下面分别说下几个模块的常用操作。xlrdxlrd是用来从Excel中读写数据的,但我平常只用它进行读操作,写操作会遇到些

系统 2019-09-27 17:54:33 2347

Python

利用python爬取微博明星势力榜,并制成动图|凹凸数读

相关文章数据:关注《凹凸数读》,回复“明星势力榜”获取相关数据代码defget_informations(doc,i):doc1=doc(ur1+str(i)+')>div.sr_ranking_datail>div.sr_detail>div.sr_info.W_Yahei>div.sr_textname>div>a').text()doc2=doc(ur1+str(i)+ur2+'>li.arr1.clearfix>div.propor.sr_fl>s

系统 2019-09-27 17:48:51 2347

Python

Python实现扫描局域网活动ip(扫描在线电脑)

内网的主机都是自动分配ip地址,有时候需要查看下有那些ip在使用,就写了个简单的脚本。linux和windows下都可以用,用多线程来ping1-255所有的地址,效率不高,2分钟左右。先凑合和用吧。#-*-coding:utf-8-*-#author:orangleliudate:2014-11-12#python2.7.xip_scaner.py'''''不同平台,实现对所在内网端的ip扫描有时候需要知道所在局域网的有效ip,但是又不想找特定的工具来扫

系统 2019-09-27 17:48:35 2347

Python

Python中while循环的基本用法

文|天罡君while和for都可以使程序重复执行某一段代码(又称作循环体),区别是for循环用于针对集合中的每一个元素都一个代码块,而while循环在表达式为True的情况下会不断地执行,直到指定条件不满足为止。今天我们一起来学习下while关键字的使用。1.while循环简介while在英语中的解释是:当…时候。在Python中的语法是:while表达式:循环体意味着,当表达式为True的时候,程序会一直执行循环体代码,直至表达式为False。1.1使用

系统 2019-09-27 17:46:48 2347

Python

Python 学习 第十八篇:使用pymssql操作SQL Server数据库

使用pymssql模块操作SQLServer数据库一,连接数据库使用pymssql连接SQLServer数据库,首先创建连接和游标:importpymssqlconn=pymssql.connect(host='host',user='user',password='pwd',database='db_name')cursor=conn.cursor()1,行的格式当执行select语句获取数据时,返回的数据行有两种格式:元组和字典,行的默认格式是元组。p

系统 2019-09-27 17:57:17 2346

Python

crontab中部署Python脚本注意事项

有时候手工执行Python脚本跑的好好的,但是部署到Linux的crontab中后,就会遇到一些问题,最近终于有空整理一下这方面的内容,其实也是自己也踩了一些别人踩过的坑!这里仅仅列举个人遇到的一些小问题,经验和精力问题,不能面面俱到,仅总结一下自己遇到的这些问题。环境变量问题cron中的环境变量和系统的环境变量是不一样的,我们可以通过设置定时脚本将cron中的环境变量打印出来,然后一对比,你就能发现差异*****env>/tmp/env.txt如果你Py

系统 2019-09-27 17:52:17 2346

Python

竟然可以用python炒股?

由于笔者并无深厚的数学功底也无深厚的金融知识,所以不会在本文中引用各种高深的投资模型或数学模型,参考书籍主要是《海龟交易法则》《以交易为生》。交易系统在交易之前,我们应该首先有一个交易系统用于指导我们自己交易,不一定有什么规范,但是可以作为一个交易的依据,至于这个依据可不可行,科不科学那就见仁见智了。当然了,这里的交易系统不一定是程序,只是指你自己的交易原则或者遵守的一些技巧或者方法,你可以手动执行也可以借助编程语言,编程语言不就是一套用来使用的工具么.这

系统 2019-09-27 17:50:01 2346

Python

Python3 给定一个字符串,请你找出其中不含有重复字符的 最长子串 的长度。

题目:给定一个字符串,请你找出其中不含有重复字符的最长子串的长度。示例1:输入:"abcabcbb"输出:3解释:因为无重复字符的最长子串是"abc",所以其长度为3。示例2:输入:"bbbbb"输出:1解释:因为无重复字符的最长子串是"b",所以其长度为1。示例3:输入:"pwwkew"输出:3解释:因为无重复字符的最长子串是"wke",所以其长度为3。请注意,你的答案必须是子串的长度,"pwke"是一个子序列,不是子串。来源:力扣(LeetCode)链

系统 2019-09-27 17:49:16 2346

Python

Python来做图像处理以及视音频文件分离和合成

一、简介Imageio是一个Python库,提供了一个简单的界面来读取和写入各种图像数据,包括动画图像,视频,体积数据和科学格式。它是跨平台的,运行在Python2.7和3.4+上,易于安装。作为用户,您只需要记住一些功能:imread()和imwrite()-用于单个图像mimread()和mimwrite()-用于图像系列(动画)volread()和volwrite()-用于体积图像数据get_reader()和get_writer()-用于更多控制(

系统 2019-09-27 17:48:25 2346