在工作中遇到一个需求，需要用Python脚本读取一个13G的文件，把每行的记录写入redis。由于机器的内存只有8G，所以不能一次将磁盘上的文件全部读入内存，需要一行一行读取文件。Python按行读取文件主要是使用file.readline方法或者利用file对象的迭代器性质，而file.readlines方法则是一次把所有内容从磁盘读入内存。当内存足够时，file.readlines方法显然会更快，因为磁盘I/O次数更少。下面给出了三种遍历文件每行的方式
系统 2019-09-27 17:56:36 1975
python内置函数有两种，一种是python实现的，一种是C语言实现的。python实现的–1.直接在IDE里面按住ctrl追踪到源码。–2.使用help内置函数，例如：help(os)C语言实现的不能直接在IDE里面查看比如builtins.py里的zip,需要去Cpython源码中查看：https://github.com/python/cpython/blob/master/Python/bltinmodule.ctypedefstruct{PyO
系统 2019-09-27 17:56:18 1975
爬虫的概念：爬虫就是获取网页并提取和保存信息的自动化程序爬虫的分类：主要有四类：通用网络爬虫，聚焦网络爬虫，增量式网络爬虫，深层网络爬虫爬虫的流程：常见的几种爬虫问题：主要有五类：静态网页的爬取，Ajax数据的爬取，动态渲染页面爬取，验证码的识别，代理的使用常见的爬虫框架：pyspider框架，Scrapy框架分布式爬虫：在多台机器上运行爬虫程序爬虫的一些常用"库"：解析库：lxml;BeautifulSoup;pyquery;tesserocr请求库：r
系统 2019-09-27 17:56:05 1975
[Python标准库]decimal――定点数和浮点数的数学运算作用：使用定点数和浮点数的小数运算。Python版本：2.4及以后版本decimal模块实现了定点和浮点算术运算符，使用的是大多数人所熟悉的模型，而不是程序员熟悉的模型，即大多数计算机硬件实现的IEEE浮点数运算。Decimal实例可以准确地表示任何数，对其上取整或下取整，还可以对有效数字个数加以限制。Decimal小数值表示为Decimal类的实例。构造函数取一个整数或字符串作为参数。使用浮
系统 2019-09-27 17:56:03 1975
数据库的安装和连接PyMySQL的安装pipinstallPyMySQLpython连接数据库importpymysqldb=pymysql.connect("数据库ip","用户","密码","数据库")#打开数据库连接cursor.execute("SELECTVERSION()")#使用execute()方法执行SQL查询data=cursor.fetchone()#使用fetchone()方法获取单条数据print("Databaseversion
系统 2019-09-27 17:56:03 1975
这篇文章主要介绍了python检测服务器端口代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下importsocketsk=socket.socket(socket.AF_INET,socket.SOCK_STREAM)sk.settimeout(10)try:sk.connect(('127.0.0.1',80))print('Serverport80OK!')exceptException:pri
系统 2019-09-27 17:55:41 1975
python读取excel文件生成sql文件实例详解学了python这么久，总算是在工作中用到一次。这次是为了从excel文件中读取数据然后写入到数据库中。这个逻辑用java来写的话就太重了，所以这次考虑通过python脚本来实现。在此之前需要给python添加一个xlrd模块，这个模块是专门用来操作excel文件的。在mac中可以通过easy_installxlrd命令实现自动安装模块importxdrlib,sysimportxlrddefopen_e
系统 2019-09-27 17:55:37 1975
八大排序算法的Python实现原文地址插入排序插入排序的基本操作就是将一个数据插入到已经排好序的有序数据中，从而得到一个新的、个数加一的有序数据，算法适用于少量数据的排序，时间复杂度为O(n^2)。是稳定的排序方法。插入算法把要排序的数组分成两部分：第一部分包含了这个数组的所有元素，但将最后一个元素除外（让数组多一个空间才有插入的位置），而第二部分就只包含这一个元素（即待插入元素）。在第一部分排序完成后，再将这个最后元素插入到已排好序的第一部分中。代码实现
系统 2019-09-27 17:55:35 1975
最直观的上下文，莫过于小学的语文课，经常会问联系上下文，推测...，回答...，表明作者...。文章里的上下文比较好懂，无非就是前与后。在了解了计算机的执行状态，程式的运行，才稍微对计算机的上下文(context)有了一定的认识，多半还是只可意会，不可言传。本文所讨论的上下文，简而言之，就是程式所执行的环境状态，或者说程式运行的情景。提及上下文，就不可避免的涉及Python中关于上下文的魔法，即上下文管理器（contextor）。资源的创建和释放场景上下文
系统 2019-09-27 17:55:33 1975
python连接Mysql数据库：Python编程中可以使用MySQLdb进行数据库的连接及诸如查询/插入/更新等操作，但是每次连接MySQL数据库请求时，都是独立的去请求访问，相当浪费资源，而且访问数量达到一定数量时，对mysql的性能会产生较大的影响。因此，实际使用中，通常会使用数据库的连接池技术，来访问数据库达到资源复用的目的。数据库连接池python的数据库连接池包DBUtils：DBUtils是一套Python数据库连接池包，并允许对非线程安全的
系统 2019-09-27 17:55:24 1975
