今天接到一个新的任务,要对一个140多M的csv文件进行数据处理,总共有170多万行,尝试了导入本地的MySQL数据库进行查询,结果用Navicat导入直接卡死....估计是XAMPP套装里面全默认配置的MySQL性能不给力,又尝试用R搞一下吧结果发现光加载csv文件就要3分钟左右的时间,相当不给力啊,翻了翻万能的知乎发现了Python下的一个神器包:Pandas(熊猫们?),加载这个140多M的csv文件两秒钟就搞定,后面的分类汇总等操作也都是秒开,太牛
系统 2019-09-27 17:52:33 2105
在学习转换之前先了解以下它们的基本概念RDD：弹性分布式数据集，是一个只读分区集合DataFrame：以命名列方式组织的分布式数据集，概念上和关系型数据库的一张表一样DataSet：分布式数据集合，Python暂时不支持了解了基本的概念之后，接下来我们通过代码编写三种数据集的形成RDD的形成frompyspark.sqlimportSparkSessionif__name__=='__main__':spark=SparkSession\.builder\
系统 2019-09-27 17:52:31 2105
Python是一门非常酷的语言，因为很少的Python代码可以在短时间内做很多事情，并且，Python很容易就能支持多任务和多重处理。py1、关键代码可以依赖于扩展包Python使许多编程任务变得简单，但是对于很关键的任务并不总是提供最好的性能。使用C、C++或者机器语言扩展包来执行关键任务能极大改善性能。这些包是依赖于平台的，也就是说，你必须使用特定的、与你使用的平台相关的包。简而言之,该解决方案提供了一些应用程序的可移植性,以换取性能,您可以获得只有通
系统 2019-09-27 17:51:50 2105
主机环境：（Python2.7.9/Win8_64/bs4）利用BeautifulSoup4来抓取www.pm25.com上的PM2.5数据，之所以抓取这个网站，是因为上面有城市PM2.5浓度排名（其实真正的原因是，它是百度搜PM2.5出来的第一个网站！）程序里只对比了两个城市，所以多线程的速度提升并不是很明显，大家可以弄10个城市并开10个线程试试。最后吐槽一下：上海的空气质量怎么这么差！！！PM25.py复制代码代码如下:#!/usr/bin/envp
系统 2019-09-27 17:51:23 2105
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。Repetitionisthemotherofalllearning.重复是学习之母。看、看、看、看、看，看视频，看书，看公众号…倘若学习编程只要看看书、看看视频、听听讲就能够学会，那编程本身也失去魅力了。现在大家图方便，搜集大堆大堆的视频教程去看，看的时候感觉都懂了。看完什么都忘了。要动手啊！你学编程，无论是工作，还是做自己的项目，都是要一行代码一行代码地去敲出来的。这个过程才是真正学习
系统 2019-09-27 17:51:10 2105
python中with可以明显改进代码友好度，比如：复制代码代码如下:withopen('a.txt')asf:printf.readlines()为了我们自己的类也可以使用with，只要给这个类增加两个函数__enter__,__exit__即可：复制代码代码如下:>>>classA:def__enter__(self):print'inenter'def__exit__(self,e_t,e_v,t_b):print'inexit'>>>withA()
系统 2019-09-27 17:49:50 2105
更新mysql8.17的脚本：2019-09-19#-*-coding:utf-8-*-importsysreload(sys)importgetoptimportcommandsimportsubprocessimportfileinputimportos__author__='Lenny'INFO="\033[1;33;40m%s\033[0m"ERROR="\033[1;31;40m%s\033[0m"NOTICE="\033[1;32;40m%s\
系统 2019-09-27 17:49:31 2105
第一步：标记化处理表达式的第一步就是将其转化为包含一个个独立符号的列表。这一步很简单，且不是本文的重点，因此在此处我省略了很多。首先，我定义了一些标记（数字不在此中，它们是默认的标记）和一个标记类型：token_map={'+':'ADD','-':'ADD','*':'MUL','/':'MUL','(':'LPAR',')':'RPAR'}Token=namedtuple('Token',['name','value'])下面就是我用来标记`expr`
系统 2019-09-27 17:49:09 2105
最近被多线程给坑了下，没意识到类变量在多线程下是共享的，还有一个就是没意识到内存释放问题，导致越累越大1.python类变量在多线程情况下的是共享的2.python类变量在多线程情况下的释放是不完全的3.python类变量在多线程情况下没释放的那部分内存是可以重复利用的importthreadingimporttimeclassTest:cache={}@classmethoddefget_value(self,key):value=Test.cache.
系统 2019-09-27 17:48:22 2105
什么是Python？Python是一种功能强大的高级编程语言，主要用于科学和工程计算。它是一种高效的语言，优雅务实，简单而强大，适合新手和专业人士的编程。Python支持多种编程范例，并提出了一个大型标准库，包括面向对象，命令式，功能性和程序性。Go是什么？Go是一种通用编程语言，由Google设计；它借鉴了许多其他许多好主意语言，同时避免导致复杂性和不可靠代码的功能。Go支持多范式，如程序，功能和并发。它的语法传统上来自C语言，但它已经做了很多修改，以改
系统 2019-09-27 17:48:01 2105
