搜索到与相关的文章
Python

使用Python Pandas处理亿级数据的方法

在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章《别老扯什么Hadoop了,你的数据根本不够大》指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类,这次决定采用Python来处理数据:硬件环境CPU:3.5GHzIntelCorei7内存:32GBHDDR31600MHz硬盘:3TBFusionDrive数据

系统 2019-09-27 17:57:15 2330

Python

python命令行参数用法实例分析

本文实例讲述了python命令行参数用法。分享给大家供大家参考,具体如下:在命令行下执行某些命令的时候,通常会在一个命令后面带上一些参数,这些参数会传递到程序里,进行处理,然后返回结果,在linux下很多命令其实也是用python来实现的。那么如果做到在命令行输入类似如下的命令并能得到正确的解析呢,比如pythoncommandline.py-lc:/temp-fc:/aaa.txt这样的命令,并在程序中进行处理。下面详细介绍处理办法。python为我们提

系统 2019-09-27 17:56:39 2330

Python

明白动态规划,Dijkstra方法的Python实现和问题的解决步骤

原作者:金子冴校阅:内野良一翻译:叶子原文链接目录什么是动态规划(DynamicProgramming)例题:用Dijkstra的方法解决最短路径问题(Python实现)使用动态规划解决问题的步骤参考什么是动态规划(DynamicProgramming)动态规划概要动态规划是一种解题手法的总称。它通过将一个无法解决的大问题分解成复数个小问题(也叫子问题),然后在解决这些小问题的基础之上来解决原始的大问题。通过使用动态规划,我们能将一部分在多项式时间内无法解

系统 2019-09-27 17:55:43 2330

Python

BloomFilter&python支持

BloomFilter&python支持BloomFilter布隆过滤器是一种概率空间高效的数据结构。它与hashmap非常相似,用于检索一个元素是否在一个集合中。它在检索元素是否存在时,能很好地取舍空间使用率与误报比例。即BloomFilter是会误判的,它只会把不存在于集合中的元素误判成存在于集合中,而不会把存在于集合中的元素误判成不存在集合中。正是由于这个特性,它被称作概率性数据结构(probabilisticdatastructure)。Bloom

系统 2019-09-27 17:54:06 2330

Python

Python爬取小说

起因:有一天突然想看本小说,在小说网站上不能下载,广告太多,便。。。思路:–分析网站的结构–爬取目录(获得章节名和链接)–多线程加载章节网页–正则匹配内容–保存生成错误日志–链接单个章节txt合并为一个#-*-coding:utf-8-*-"""CreatedonTueJul218:23:492019@author:24709"""importurllibimporturllib.requestimportmultiprocessingfrombs4imp

系统 2019-09-27 17:53:50 2330

Python

1 行 Python 代码快速实现 FTP 服务器

摘要:当你想快速共享一个目录的时候,这是特别有用的,只需要1行代码即可实现。当你想快速共享一个目录的时候,这是特别有用的,只需要1行代码即可实现。FTP服务器,在此之前我都是使用Linux的vsftpd软件包来搭建FTP服务器的,现在发现了利用pyftpdlib可以更加简单的方法即可实现FTP服务器的功能。环境要求Python2.7Windows/Linux环境搭建一行代码实现FTP服务器通过Python的-m选项作为一个简单的独立服务器来运行,当你想快速

系统 2019-09-27 17:52:27 2330

Python

Python实现生成简单的Makefile文件代码示例

在linux下写几个测试程序,还要一行行的输入g++命令进行编译,当经常改测试代码的时候,那一次次的敲(或者一次次的上线箭头选)也感觉不爽,不如make来的快。用Makefile的好处就不用多说了,这里我写了个脚本,其功能是自动搜索当前目录(不包括子目录)下的“.c”文件生成Makefile文件。代码在这里,功能有限(适用于单个文件是一个独立的测试代码的情况),需要的朋友可以稍作修改以满足需求。复制代码代码如下:#!/usr/bin/python'''Fi

系统 2019-09-27 17:51:44 2330

Python

python布尔值 等价于False的不同类型

python的布尔值True和False相当于1和0,True==1,False==0,True+1=2是成立。在if()条件判断语句中,0、空字符串("")、None、空列表([])、空元组(())、空集合({})这六种都等价于False,详见示例1,但是用==(比较值是否相等,不比较引用地址)比较时只有0==False为True,其他五种都是False,示例2。示例1#示例1if0:print("0")elif"":print("\"\"")elifN

系统 2019-09-27 17:50:47 2330

Python

Python 正则表达式匹配数字及字符串中的纯数字

Python正则表达式匹配数字电话号码:\d{3}-\d{8}|\d{4}-\d{7}QQ号:[1-9][0-9]{4,}中国邮政编码:[1-9]\d{5}(?!\d)身份证:\d{15}|\d{18}ip地址:\d+\.\d+\.\d+\.\d+[1-9]\d*正整数-[1-9]\d*负整数-?[1-9]\d*整数[1-9]\d*|0非负整数-[1-9]\d*|0非正整数[1-9]\d*\.\d*|0\.\d*[1-9]\d*$正浮点数-([1-9]\d

系统 2019-09-27 17:50:40 2330

Python

Python3 中的循环语句有 for 和 while。

while循环Python中while语句的一般形式while判断条件:语句while有限循环n=100sum=0counter=1whilecounter<=n:sum=sum+countercounter+=1print("1到%d之和为:%d"%(n,sum))while无限循环我们可以通过设置条件表达式永远不为false来实现无限循环,实例如下:var=1whilevar==1:#表达式永远为truenum=int(input("输入一个数字:")

系统 2019-09-27 17:49:30 2330