Python

python数据处理实战(必看篇)

一、运行环境1、python版本2.7.13博客代码均是这个版本2、系统环境:win764位系统二、需求对杂乱文本数据进行处理部分数据截图如下,第一个字段是原字段,后面3个是清洗出的字段,从数据库中聚合字段观察,乍一看数据比较规律,类似(币种金额万元)这样,我想着用sql写条件判断,统一转换为‘万元人民币'单位,用sql脚本进行字符串截取即可完成,但是后面发现数据并不规则,条件判断太多清洗质量也不一定,有的前面不是左括号,有的字段里面没有币种,有的数字并不

系统 2019-09-27 17:46:38 2446

Python

《Python数据分析与挖掘实战》笔记:Apriori算法代码与使用

Apriori代码importpandasaspd#自定义连接函数,用于实现L_{k-1}到C_k的连接defconnect_string(x,ms):"""x:频繁项集列表ms:连接符,这里用‘---’return:返回长度+1的频繁项集,即L_{k-1}到C_k的连接"""x=list(map(lambdai:sorted(i.split(ms)),x))#去除序列中的连接符,并将元素排列n=len(x[0])#每个频繁项集的长度为nr=[]forii

系统 2019-09-27 17:57:03 2445

Python

python之正则标志位和模式

标志位说明re.I字母不区分大小写re.S使.匹配包括换行re.X忽略空格和#后面的注释re.M多行匹配,影响^和$re.UUnicode解码,影响\w,\W,\b,\B,\d,\D,\s,\Sre.L本地化识别匹配,影响\w,\W,\b,\B,\d,\D,\s,\S模式说明^匹配字符串的开头$匹配字符串的末尾。.匹配任意一个字符,不包括换行符l或*匹配0个以上+匹配1个以上?匹配最少字符(非贪婪模式)模式说明[]匹配组内字符,[abc]匹配a,b,c[^

系统 2019-09-27 17:56:14 2445

Python

浅析python实现scrapy定时执行爬虫

项目需要程序能够放在超算中心定时运行,于是针对scrapy写了一个定时爬虫的程序main.py,直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。最简单的方法:直接使用Timer类importtimeimportoswhileTrue:os.system("scrapycrawlNews")time.sleep(86400)#每隔一天运行一次24*60*60=86400s或者,使用标准库的sched模块importsched#初始化sched

系统 2019-09-27 17:52:04 2445

Python

模拟退火算法之特征选择的python实现(一)

目录1.模拟退火算法实现步骤2.python实现3.实验结果4.参考文献模拟退火算法的基本原理在这里就不一一赘述了,关于原理,可以参考百度百科、博客1、博客2在本节按照基本实现步骤实现模拟退火算法,对于模拟退火算法的高级封装(类封装),可以参考模拟退火算法之特征选择的python实现(二)1.模拟退火算法实现步骤2.python实现importnumpyasnpfromsklearn.preprocessingimportStandardScalerfro

系统 2019-09-27 17:51:34 2445

Python

Python爬虫教程:爬取付费电影,告别费钱的日子

今天小编再发一篇爬取电影的文章。不是小编懒,是小编真的不知道写什么了,见谅。如果小编Get到新的技能,一定发。是不是有好多的小伙伴跟好久好久以前的小编一样,看一个电影充个会员,这个没关系,最主要的是,充一个平台的VIP还不行得有好几个才可以。这么贫穷的小编,当然只能看6分钟的视频了,不过没关系,小编现在有python。不会小伙伴此刻的心情是:(如同所示)不过没关系,小编接下来就是授教大家一些Python神技(零基础的也是可以操作的奥)让咱们首先来看看实现效

系统 2019-09-27 17:48:21 2445

Python

Python3中的2to3转换工具使用示例

python3与python2的还是有诸多的不同,比如说在2中:复制代码代码如下:print"Hello,World!"raw_input()在3里面就成了:复制代码代码如下:print("Hello,World!")input()所以如果用的python2开发的项目要迁移到3中,就需要进行代码的转换。Python3中自带了个转换工具,下面用个最简单的例子来说说2to3转换工具。例子:(2to3Test.py里面只有print这行代码)复制代码代码如下:#

系统 2019-09-27 17:37:46 2445

Python

还在用背单词App?使用Python开发英语单词自测工具,助你逆袭单词王!

崩溃-ing西安已经下了两周雨了,大家以为到头了么?不仅仅才是开始,未来的一个月还要接着下,简直崩溃啊!昨天被逼着去加班,所以早期发了一篇娱乐帖,还好没有掉粉…要谢谢各位的包容啊,哈哈。学英语广告最近也许是刚开学的原因,不管是公众号,还是刷抖音,导出都能看到关于学英语、背单词的广告。不知道现在学生们背单词买的什么辅导材料。反正我们上学那会,**《星火阅读》**特别的火。记得当时随书还送一个红色的塑料膜。书中英语单词是红色的其他文字是黑色的。背单词的时候先把

系统 2019-09-27 17:55:44 2444

Python

python网络进程

多任务编程意义:充分利用计算机的资源提高程序的运行效率定义:通过应用程序利用计算机多个核心,达到同时执行多个任务的目的实施方案:多进程、多线程并行:多个计算机核心并行的同时处理多个任务并发:内核在多个任务间不断切换,达到好像内核在同时处理多个任务的运行效果进程:程序在计算机中运行一次的过程程序:是一个可执行文件,是静态的,占有磁盘,不占有计算机运行资源进程:进程是一个动态的过程描述,占有CPU内存等计算机资源的,有一定的生命周期*同一个程序的不同执行过程是

系统 2019-09-27 17:55:19 2444

Python

Python实现计算文件MD5和SHA1的方法示例

本文实例讲述了Python实现计算文件MD5和SHA1的方法。分享给大家供大家参考,具体如下:不多说,直接源码:#filemd5importsys;importhashlib;importos.path;defGetFileMd5(strFile):file=None;bRet=False;strMd5="";strSha1="";try:file=open(strFile,"rb");md5=hashlib.md5();sha1=hashlib.sha1

系统 2019-09-27 17:53:54 2444

Python

Python数据处理DataFrame小记

python数据处理小记简介:1、DataFram定义:2、DataFrame的append3、DataFrame去除列或行4、DataFrame查看数据基本统计情况5、DataFrame的applymap及apply操作6、DataFrame的元素、列、行的获取7、DataFrame的透视表8、DataFrame空值处理、去重9、DataFrame的数据库查询10、DataFrame插入数据库11、python去除字符串前后指定值简介:目前从事数据版块的

系统 2019-09-27 17:52:04 2444

Python

Python-Tensorflow-最简安装教程

Python安装下载最新版本安装程序点这里进入官方下载页面然后选择对应的Mac/Windows...installer下载后直接安装,Windows用户注意勾选【AddPython..topath】打开命令行工具(Windows的命令提示符工具,MacOS的终端,下同)。尝试执行python3-V命令和pip3-V命令检查是否安装成功。安装TensorflowWindows右键命令行工具,以管理员身份运行,执行以下代码:pip3install-ihttp:

系统 2019-09-27 17:48:31 2444

Python

Python开发最牛逼的IDE:Pycharm的安装与使用!适合新手!

(其实其它的工具,例如eclipse也可以写,只不过比较麻烦,需要安装很多的插件,所以说pycharm是最牛逼的)pycharm,下载专业版的,不要汉化….下载完成后,直接啪啪啪傻瓜安装完成后,接下来就是使用了Python初学者有什么不懂的可以来问我,一起学习!如果你依然在编程的世界里迷茫,可以加入我们的Python学习扣qun:784758214,看看前辈们是如何学习的。交流经验。从基础的python脚本到web开发、爬虫、django、数据挖掘等,零基

系统 2019-09-27 17:46:16 2444

Python

python魔法方法-属性访问控制详解

属性访问控制所谓的属性访问控制就是控制点号访问属性的行为,而且不仅是类的外部,连类的内部也受控制,代码见真章,边看代码边解释:•__getattr__(self,item)定义当访问不存在的属性时的行为,注意是不存在的属性。classFoo(object):def__init__(self,value):self.value=valuedef__getattr__(self,item):printitem#查看得到的参数是什么printtype(item)

系统 2019-09-27 17:37:51 2444

Python

使用python画社交网络图实例代码

在图书馆的检索系统中,关于图书的信息里面有一个是图书相关借阅关系图。跟这个社交网络图是一样的,反映了不同对象间的关联性。利用python画社交网络图使用的库是networkx,更多关于networkx的介绍与使用大家可以参考这篇文章:https://www.jb51.net/article/159743.htm下面开始本文的正文:importnetworkxasnximportmatplotlib.pyplotaspltG=nx.Graph()G.add_

系统 2019-09-27 17:56:10 2443