- 军军小站|张军博客
搜索到与相关的文章
Python

python多线程分块读取文件

本文实例为大家分享了python多线程分块读取文件的具体代码,供大家参考,具体内容如下#_*_coding:utf-8_*_importtime,threading,ConfigParser'''Reader类,继承threading.Thread@__init__方法初始化@run方法实现了读文件的操作'''classReader(threading.Thread):def__init__(self,file_name,start_pos,end_pos

系统 2019-09-27 17:57:14 1905

Python

Python按行读取大文件

在工作中遇到一个需求,需要用Python脚本读取一个13G的文件,把每行的记录写入redis。由于机器的内存只有8G,所以不能一次将磁盘上的文件全部读入内存,需要一行一行读取文件。Python按行读取文件主要是使用file.readline方法或者利用file对象的迭代器性质,而file.readlines方法则是一次把所有内容从磁盘读入内存。当内存足够时,file.readlines方法显然会更快,因为磁盘I/O次数更少。下面给出了三种遍历文件每行的方式

系统 2019-09-27 17:56:36 1905

Python

使用Windows批处理和WMI设置Python的环境变量方法

大概在Python2.7.xx以前,安装Python时环境变量是需要自己设的,所以自己做了一个批处理文件.bat来设置环境变量Path,通过WMI命令wmic来实现。::检查path中有没有相关路径echo%path%|findstr/i"c:\python27\scripts"&&(gotorun)::先添加,防止没有时修改出错wmicENVIRONMENTcreatename="path",VariableValue="c:\python27\scri

系统 2019-09-27 17:56:30 1905

Python

OpenCV--Python 图像平滑之二维离散卷积(用于图像预处理)

每一幅图像都包含某种程度的噪声,噪声可以理解为由一种或者多种原因造成的灰度值的随机变化,如由光子通量的随机性造成的噪声等,在大多数情况下,通过平滑技术(也常称为滤波技术)进行移植或者去除,其中具备保持边缘作用的平滑技术得到了更多的关注。常用的平滑处理算法包括基于二维离散卷积的高斯平滑、均值平滑,基于统计学方法的中值平滑,具备保持边缘作用的平滑算法的双边滤波。1.卷积定义及矩阵形式(1)full卷积(2)valid卷积(3)same卷积(4)Python实现

系统 2019-09-27 17:55:48 1905

Python

python基于queue和threading实现多线程下载实例

本文实例讲述了python基于queue和threading实现多线程下载的方法,分享给大家供大家参考。具体方法如下:主代码如下:#downloadworkerqueue_download=Queue.Queue(0)DOWNLOAD_WORKERS=20foriinrange(DOWNLOAD_WORKERS):DownloadWorker(queue_download).start()#startadownloadworkerformd5inMD5S:

系统 2019-09-27 17:55:42 1905

Python

python检测服务器端口代码实例

这篇文章主要介绍了python检测服务器端口代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下importsocketsk=socket.socket(socket.AF_INET,socket.SOCK_STREAM)sk.settimeout(10)try:sk.connect(('127.0.0.1',80))print('Serverport80OK!')exceptException:pri

系统 2019-09-27 17:55:41 1905

Python

Python升级3.6.5

创建目录python3.6.5安装目录:mkdir/usr/local/python3.6.5进入安装目录:cd/usr/local/python3.6.5执行以下命令,下载python安装包wgethttps://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz解压安装包tar-xzvfPython-3.6.5.tgz执行以下命令切换到解压目录:cdPython-3.6.5执行以下命令,安装gcc组件yum

系统 2019-09-27 17:55:38 1905

Python

Python之父发文吐槽现有解析器,考虑将它替换掉

image花下猫语:GuidovanRossum是Python的创造者,虽然他现在放弃了“终身仁慈独裁者”的职位,但却成为了指导委员会的五位成员之一,其一举一动依然备受瞩目。近日,他开通了Medium账号,并发表了第一篇文章,透露出要替换Python的核心部件(解析器)的想法。这篇文章分析了当前的pgen解析器的诸多缺陷,并介绍了PEG解析器的优点,令人振奋。这项改造工作仍在进行中,Guido说他还会写更多相关的文章,我们就拭目以待吧。本文原创并首发于公众

系统 2019-09-27 17:55:35 1905

Python

Python进阶之使用selenium爬取淘宝商品信息功能示例

本文实例讲述了Python进阶之使用selenium爬取淘宝商品信息功能。分享给大家供大家参考,具体如下:#encoding=utf-8__author__='Jonny'__location__='西安'__date__='2018-05-14''''需要的基本开发库文件:requests,pymongo,pyquery,selenium开发流程:搜索关键字:利用selenium驱动浏览器搜索关键字,得到查询后的商品列表分析页码并翻页:得到商品页码数,模

系统 2019-09-27 17:55:34 1905

Python

Python实现Mysql数据库连接池实例详解

python连接Mysql数据库:Python编程中可以使用MySQLdb进行数据库的连接及诸如查询/插入/更新等操作,但是每次连接MySQL数据库请求时,都是独立的去请求访问,相当浪费资源,而且访问数量达到一定数量时,对mysql的性能会产生较大的影响。因此,实际使用中,通常会使用数据库的连接池技术,来访问数据库达到资源复用的目的。数据库连接池python的数据库连接池包DBUtils:DBUtils是一套Python数据库连接池包,并允许对非线程安全的

系统 2019-09-27 17:55:24 1905