搜索到与相关的文章
Python

python使用pandas处理大数据节省内存技巧(推荐)

一般来说,用pandas处理小于100兆的数据,性能不是问题。当用pandas来处理100兆至几个G的数据时,将会比较耗时,同时会导致程序因内存不足而运行失败。当然,像Spark这类的工具能够胜任处理100G至几个T的大数据集,但要想充分发挥这些工具的优势,通常需要比较贵的硬件设备。而且,这些工具不像pandas那样具有丰富的进行高质量数据清洗、探索和分析的特性。对于中等规模的数据,我们的愿望是尽量让pandas继续发挥其优势,而不是换用其他工具。本文我们

系统 2019-09-27 17:49:29 2166

Python

Python中的单例模式的几种实现方式的及优化

单例模式单例模式(SingletonPattern)是一种常用的软件设计模式,该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中,某个类只能出现一个实例时,单例对象就能派上用场。比如,某个服务器程序的配置信息存放在一个文件中,客户端通过一个AppConfig的类来读取配置文件的信息。如果在程序运行期间,有很多地方都需要使用配置文件的内容,也就是说,很多地方都需要创建AppConfig对象的实例,这就导致系统中存在多个AppConfig的实

系统 2019-09-27 17:49:13 2166

Python

Python的Flask框架中实现简单的登录功能的教程

回顾在前面的系列章节中,我们创建了一个数据库并且学着用用户和邮件来填充,但是到现在我们还没能够植入到我们的程序中。两章之前,我们已经看到怎么去创建网络表单并且留下了一个实现完全的登陆表单。在这篇文章中,我们将基于我门所学的网络表单和数据库来构建并实现我们自己的用户登录系统。教程的最后我们小程序会实现新用户注册,登陆和退出的功能。为了能跟上这章节,你需要前一章节最后部分,我们留下的微博程序。请确保你的程序已经正确安装和运行。在前面的章节,我们开始配置我们将要

系统 2019-09-27 17:48:59 2166

Python

基于百度云的OCR识别(Python)

2019年7月3日早上,在百度AI开发者大会上,一个来自山西的青年,将一瓶矿泉水浇在了同样来自山西的李彦宏身上。可以回顾一下https://b23.tv/av57665929/p1,着实让人一惊,这么大的会议上既然让人这么容易接近大佬。(图片来源网络)OCR识别准备工作百度云真的是测试接口的天堂,免费接口很多,当然有量的限制,但个人使用是完全够用的,什么人脸识别、MQTT服务器、语音识别等等,应有尽有吧看看OCR识别免费的量第一步:创建一个文字识别的应用,

系统 2019-09-27 17:47:15 2166

Python

在Python程序中操作文件之flush()方法的使用教程

flush()方法刷新内部缓冲区,像标准输入输出的fflush。这类似文件的对象,无操作。Python关闭时自动刷新文件。但是可能要关闭任何文件之前刷新数据。语法以下是flush()方法的语法:fileObject.flush();参数NA返回值此方法不返回任何值。例子下面的例子显示了flush()方法的使用。#!/usr/bin/python#Openafilefo=open("foo.txt","wb")print"Nameofthefile:",fo

系统 2019-09-27 17:46:31 2166

Python

Python 之父的解析器系列之四:可视化 PEG 解析

原题|VisualizingPEGParsing作者|GuidovanRossum(Python之父)译者|豌豆花下猫(“Python猫”公众号作者)声明|本翻译是出于交流学习的目的,基于CCBY-NC-SA4.0授权协议。为便于阅读,内容略有改动。上周我展示了一个简单的PEG解析器生成器。本周我将展示生成的解析器在解析程序时实际执行的操作。我深入研究了ASCII艺术的复古世界,特别是一个名为“curses”的库,它可以在Linux和Mac的Python标

系统 2019-09-27 17:46:14 2166

Python

Python对小数进行除法运算的正确方法示例

求一个算式复制代码代码如下:a=1b=2c=3printc*(a/b)运行结果总是0,反复检查拆开以后,发现在Python里,整数初整数,只能得出整数。也就是a除b这个结果永远是0,只要把a或者b其中一个数改成浮点数即可。复制代码代码如下:a=1b=2c=3printc*(a/float(b))printc*(float(a)/b)这样才能准确算出a除b的正确结果,当然,如果a比b大,并且不需要小数位数部分可以不用float。如:复制代码代码如下:a=1b

系统 2019-09-27 17:46:08 2166

Python

Appium+python自动化(三十六)- 士兵突击许三多 - 多个

简介前面课程只是启动了单个appium服务,只能控制单台设备。如果需要针对多台设备测试那么该如何处理?而且发现群里的小伙伴们也在时不时地在讨论这个问题,想知道怎么实现的,于是宏哥就决定写一片这样的文章来给小伙伴们,答答疑,解解惑。希望对各位小伙伴或者童鞋们有所帮助,可以是你们豁然开朗。启动多个appium服务首先看下面两个启动appium服务案例。启动appium服务1启动appium服务2上面案例我们启动了2个不同的appium服务器,他们通过不同的端口

系统 2019-09-27 17:45:35 2166

Python

教你用python3根据关键词爬取百度百科的内容

前言关于python版本,我一开始看很多资料说python2比较好,因为很多库还不支持3,但是使用到现在为止觉得还是pythin3比较好用,因为编码什么的问题,觉得2还是没有3方便。而且在网上找到的2中的一些资料稍微改一下也还是可以用。好了,开始说爬百度百科的事。这里设定的需求是爬取北京地区n个景点的全部信息,n个景点的名称是在文件中给出的。没有用到api,只是单纯的爬网页信息。1、根据关键字获取url由于只需要爬取信息,而且不涉及交互,可以使用简单的方法

系统 2019-09-27 17:38:45 2166

Python

Python OS模块常用函数说明

Python的标准库中的os模块包含普遍的操作系统功能。如果你希望你的程序能够与平台无关的话,这个模块是尤为重要的。即它允许一个程序在编写后不需要任何改动,也不会发生任何问题,就可以在Linux和Windows下运行。下面列出了一些在os模块中比较有用的部分。它们中的大多数都简单明了。os.sep可以取代操作系统特定的路径分隔符。windows下为“\\”os.name字符串指示你正在使用的平台。比如对于Windows,它是'nt',而对于Linux/Un

系统 2019-09-27 17:37:58 2166