搜索到与相关的文章
Python

Python按行读取大文件

在工作中遇到一个需求,需要用Python脚本读取一个13G的文件,把每行的记录写入redis。由于机器的内存只有8G,所以不能一次将磁盘上的文件全部读入内存,需要一行一行读取文件。Python按行读取文件主要是使用file.readline方法或者利用file对象的迭代器性质,而file.readlines方法则是一次把所有内容从磁盘读入内存。当内存足够时,file.readlines方法显然会更快,因为磁盘I/O次数更少。下面给出了三种遍历文件每行的方式

系统 2019-09-27 17:56:36 2220

Python

Python爬虫利用cookie实现模拟登陆实例详解

Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)。举个例子,某些网站是需要登录后才能得到你想要的信息的,不登陆只能是游客模式,那么我们可以利用Urllib2库保存我们以前登录过的Cookie,之后载入cookie获取我们想要的页面,然后再进行抓取。理解cookie主要是为我们快捷模拟登录抓取目标网页做出准备。我之前的帖子中使用过urlopen()这个函数来打开网页进行抓取,这仅仅只是一个简单的Py

系统 2019-09-27 17:56:06 2220

Python

浅谈Python基础之I/O模型

一、I/O模型IO在计算机中指Input/Output,也就是输入和输出。由于程序和运行时数据是在内存中驻留,由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘、网络等,就需要IO接口。同步(synchronous)IO和异步(asynchronous)IO,阻塞(blocking)IO和非阻塞(non-blocking)IO分别是什么,到底有什么区别?这个问题其实不同的人给出的答案都可能不同,比如wiki,就认为asynchronousI

系统 2019-09-27 17:55:10 2220

Python

详谈python read readline readlines的区别

file对象使用open函数来创建,下表列出了file对象常用函数read、readline、readlines区别:1.从文件读取指定的字节数,size如果未给定或为负则读取所有。file.read([size])2.读取整行,包括"\n"字符。file.readline([size])3.读取所有行并返回列表,若给定sizeint>0,返回总和大约为sizeint字节的行,实际读取值可能比sizeint较大,因为需要填充缓冲区。file.readlin

系统 2019-09-27 17:53:41 2220

Python

python脚本开机自启的实现方法

问题描述:将python脚本设置成开机自启。环境:windows764位前段时间,一直想把文件打包成exe文件,然后设置成开机自启,虽然感觉很装逼,但是使用pyinstaller打包成exe文件的历程却是非常坎坷,一改脚本或者导入一个新的库,打包就出现各种报错,各种问题,最后博主实在找不到解决办法之后放弃了,谁知突然间却看到有博客说能直接把py程序设成开机自启,真是开心,下面说明一下操作步骤:(1)首先,需要新建一个.bat文件(用来运行脚本),格式如下,

系统 2019-09-27 17:53:41 2220

Python

python3转变exe的方法

原文链接:https://blog.csdn.net/qq_38656841/article/details/82921951python开发的代码可能在其他windows上并不能使用用,除非别人的环境中也有python。下面是如何将python开发的东西转为exe格式1.安装pyinstallerpipinstallpyinstaller2.跳到需要转为exe文件的python文件目录下面,运行命令pyinstaller--onefilepython文件

系统 2019-09-27 17:53:37 2220

Python

Python用户推荐系统曼哈顿算法实现完整代码

出租车几何或曼哈顿距离(ManhattanDistance)是由十九世纪的赫尔曼・闵可夫斯基所创词汇,是种使用在几何度量空间的几何学用语,用以标明两个点在标准坐标系上的绝对轴距总和。图中红线代表曼哈顿距离,绿色代表欧氏距离,也就是直线距离,而蓝色和黄色代表等价的曼哈顿距离。曼哈顿距离――两点在南北方向上的距离加上在东西方向上的距离,即d(i,j)=|xi-xj|+|yi-yj|。对于一个具有正南正北、正东正西方向规则布局的城镇街道,从一点到达另一点的距离正

系统 2019-09-27 17:53:07 2220

Python

Python基础--面向对象的基本概念

作者:Vamei出处:http://www.cnblogs.com/vamei欢迎转载,也请保留这段声明。谢谢!Python使用类(class)和对象(object),进行面向对象(object-orientedprogramming,简称OOP)的编程。面向对象的最主要目的是提高程序的重复使用性。我们这么早切入面向对象编程的原因是,Python的整个概念是基于对象的。了解OOP是进一步学习Python的关键。下面是对面向对象的一种理解,基于分类。相近对象

系统 2019-09-27 17:51:09 2220

Python

Python实现Linux监控的方法

工作原理:基于/proc文件系统Linux系统为管理员提供了非常好的方法,使其可以在系统运行时更改内核,而不需要重新引导内核系统,这是通过/proc虚拟文件系统实现的。/proc文件虚拟系统是一种内核和内核模块用来向进程(process)发送信息的机制(所以叫做“/proc”),这个伪文件系统允许与内核内部数据结构交互,获取有关进程的有用信息,在运行中(onthefly)改变设置(通过改变内核参数)。与其他文件系统不同,/proc存在于内存而不是硬盘中。p

系统 2019-09-27 17:49:23 2220

Python

python 的几个内置函数(enumerate,lambda ,zip

pythonmap(fun,[arg]+)函数最少有两个参数,第一参数为一个函数名,第二个参数是对应的这个函数的参数(一般为一个或多个list)。enumerate()函数语法以下是enumerate()方法的语法:enumerate(sequence,[start=0])参数sequence–一个序列、迭代器或其他支持迭代对象。start–下标起始位置seq=['one','two','three']fori,elementinenumerate(seq

系统 2019-09-27 17:48:23 2220