拥有Python标签的文章
Python

在Python中利用Pandas库处理大数据的简单介绍

在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章《别老扯什么Hadoop了,你的数据根本不够大》指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类,这次决定采用Python来处理数据:硬件环境CPU:3.5GHzIntelCorei7内存:32GBHDDR31600MHz硬盘:3TBFusionDrive数据

系统 2019-09-27 17:50:47 2059

Python

Sublime Text编辑器配置Python解释器简易教程

前天在微信上遇到一个小伙伴问我一个关于Sublimetext配置Python解释器的问题,可能是初学者,对这方面还不是很懂,想使用快捷键但是徒劳一场,因为缺少Python解释器,直接按下快捷键Ctrl+B是不会得到想要的结果的。鉴于此,如果有小伙伴想使用Sublime跑Python程序的话,那么配置Python解释器是必不可少的一步,这里小编整理这篇手把手教程,希望为后来者铺砖引路。下面是详细教程:1、首先打开Sublime,如下图所示,然后选择“Pref

系统 2019-09-27 17:50:11 2059

Python

随机森林算法python实现

随机森林算法python实现瞎BB代码导入数据切分训练集测试集找到最有用的几个属性根据上面的代码更改属性参数组合遍历找最优随机森林样本数据瞎BB1.实现根据样本数据(用眼距离distance、最长持续用眼时长duration、总用眼时长total_time、户外运动时长outdoor、用眼角度angle、健康环境光照用眼比例proportion)判别是否需要近视预警2.样本实在太少,结果还行,原理都是一样的代码导入数据importpandaspatient

系统 2019-09-27 17:50:08 2059

Python

Python中模块(Module)和包(Package)的区别详解

1.模块(Module)在计算机程序的开发过程中,随着程序代码越写越多,在一个文件里代码就会越来越长,越来越不容易维护。为了编写可维护的代码,我们把很多函数分组,分别放到不同的文件里,这样,每个文件包含的代码就相对较少,很多编程语言都采用这种组织代码的方式。在Python中,一个.py文件就称之为一个模块(Module)。使用模块有什么好处?最大的好处是大大提高了代码的可维护性。其次,编写代码不必从零开始。当一个模块编写完毕,就可以被其他地方引用。我们在编

系统 2019-09-27 17:49:11 2059

Python

python基础学习笔记(五)

python基础学习笔记(五)2013-04-2014:05虫师阅读(...)评论(...)编辑收藏字符串基本操作所有标准的序列操作(索引、分片、乘法、判断成员资格、求长度、取最小值和最大值)对字符串同样适用,前面已经讲述的这些操作。但是,请注意字符串都是不可变的。字符串的方法:字符串从string模块中“继承”了很多方法,这里只介绍一些特别有用的。1、findfind方法可以在一个较长的字符串中查找子字符串。它返回子串所在位置的最左端索引。如果没有找到则

系统 2019-09-27 17:48:54 2059

Python

Python数据类型 — 集合

集合是一个无序的,不重复的数据组合,它的主要作用如下:去重,把一个列表变成集合,就自动去重了关系测试,测试两组数据之前的交集、差集、并集等关系s=set([3,5,9,10])#创建一个数值集合t=set("Hello")#创建一个唯一字符的集合a=t|s#t和s的并集b=t&s#t和s的交集c=t-s#求差集(项在t中,但不在s中)d=t^s#对称差集(项在t或s中,但不会同时出现在二者中)基础功能List=[1,2,5,6,8]List=set(lis

系统 2019-09-27 17:48:36 2059

Python

python线程池

1.何时使用线程池系统启动一个新线程的成本是比较高的,因为它涉及与操作系统的交互。在这种情形下,使用线程池可以很好地提升性能;尤其是当程序中需要创建大量生存期很短暂的线程时,更应该考虑使用线程池。线程池在系统启动时即创建大量空闲的线程,程序只要将一个函数提交给线程池,线程池就会启动一个空闲的线程来执行它。当该函数执行结束后,该线程并不会死亡,而是再次返回到线程池中变成空闲状态,等待执行下一个函数。使用线程池可以有效地控制系统中并发线程的数量。当系统中包含有

系统 2019-09-27 17:48:26 2059

Python

Python中字典(dict)和列表(list)的排序方法实例

一、对列表(list)进行排序推荐的排序方式是使用内建的sort()方法,速度最快而且属于稳定排序复制代码代码如下:>>>a=[1,9,3,7,2,0,5]>>>a.sort()>>>printa[0,1,2,3,5,7,9]>>>a.sort(reverse=True)>>>printa[9,7,5,3,2,1,0]>>>b=['e','a','be','ad','dab','dbc']>>>b.sort()>>>printb['a','ad','be'

系统 2019-09-27 17:48:22 2059

Python

python如何实现异步调用函数执行

在实现异步调用之前我们先进行什么是同步调用和异步调用同步:是指完成事务的逻辑,先执行第一个事务,如果阻塞了,会一直等待,直到这个事务完成,再执行第二个事务,顺序执行异步:是和同步相对的,异步是指在处理调用这个事务的之后,不会等待这个事务的处理结果,直接处理第二个事务去了,通过状态、通知、回调来通知调用者处理结果分析一下,下面的例子:定义了一个装饰器async和A、B两个function函数A里面sleep10s,然后打印afunction字符串B里面直接打

系统 2019-09-27 17:45:52 2059

Python

python super用法

super()用法功能super功能:super函数是子类用于调用父类(超类)的一个方法。用法1.在子类__init__()方法中正确的初始化父类,保证相同的基类只初始化一次。2.覆盖特殊方法。3.解决多重继承中,子类重复调用父类方法的问题。注意super()继承只能用于新式类,用于经典类时就会报错。新式类:必须有继承的类,如果无继承的,则继承object经典类:没有父类,如果此时调用super就会出现错误:『super()argument1mustbet

系统 2019-09-27 17:45:29 2059

Python

分析python请求数据

本节讲解了flask的请求,如果想在没有请求的情况下获取上下文,可以使用test_request_context()或者request_context(),从request对象的form中可以获取表单的数据,args中可以获取URL中的参数,files可以获取上传的文件,cookies可以操作cookie。首先你需要从flask模块中导入request:fromflaskimportrequest当前请求的方法可以用method属性来访问。你可以用form

系统 2019-09-27 17:38:46 2059

Python

Python MySQLdb模块连接操作mysql数据库实例

mysql是一个优秀的开源数据库,它现在的应用非常的广泛,因此很有必要简单的介绍一下用python操作mysql数据库的方法。python操作数据库需要安装一个第三方的模块,在http://mysql-python.sourceforge.net/有下载和文档。由于python的数据库模块有专门的数据库模块的规范,所以,其实不管使用哪种数据库的方法都大同小异的,这里就给出一段示范的代码:#-*-encoding:gb2312-*-importos,sys,

系统 2019-09-27 17:38:41 2059

Python

Python常见数据结构详解

本文详细罗列归纳了Python常见数据结构,并附以实例加以说明,相信对读者有一定的参考借鉴价值。总体而言Python中常见的数据结构可以统称为容器(container)。而序列(如列表和元组)、映射(如字典)以及集合(set)是三类主要的容器。一、序列(列表、元组和字符串)序列中的每个元素都有自己的编号。Python中有6种内建的序列。其中列表和元组是最常见的类型。其他包括字符串、Unicode字符串、buffer对象和xrange对象。下面重点介绍下列表

系统 2019-09-27 17:38:35 2059

Python

深入理解python函数递归和生成器

一、什么是递归如果函数包含了对其自身的调用,该函数就是递归的。递归做为一种算法在程序设计语言中广泛应用,它通常把一个大型复杂的问题层层转化为一个与原问题相似的规模较小的问题来求解,递归策略只需少量的程序就可描述出解题过程所需要的多次重复计算,大大地减少了程序的代码量。例如,要计算1-9的9位数字的乘积,直观的算法是1*2*3*4*5*6*7*8*9,如果要计算1-10000的乘积,直观的算法就难于实现出,而递归就可以很简单的实现。请看示例:deffact(

系统 2019-09-27 17:38:31 2059

Python

python动态网页批量爬取

四六级成绩查询网站我所知道的有两个:学信网(http://www.chsi.com.cn/cet/)和99宿舍(http://cet.99sushe.com/),这两个网站采用的都是动态网页。我使用的是学信网,好了,网站截图如下:网站的代码如下:准考证号:请输入15位准考证号姓名:姓名超过3个字,可只输入前3个由图中可以看出表单提交的链接为/cet/query,即:http://www.chsi.com.cn/cet/query,好了,填写表单和结果如下:

系统 2019-09-27 17:38:16 2059