Python

python文本数据处理学习笔记详解

最近越发感觉到限制我对Python运用、以及读懂别人代码的地方,大多是在于对数据的处理能力。其实编程本质上就是数据处理,怎么把文本数据、图像数据,通过python读入、切分等,变成一个N维矩阵,然后再带入别人的模型,bingo~跑出来一个结果。结果当然也是一个矩阵或向量的形式。所以说,之所以对很多模型、代码束手无策,其实还是没有掌握好数据处理的“屠龙宝刀”,无法对海量数据进行“庖丁解牛”般的处理。因此,我想以一个别人代码中的一段为例,仔细琢磨文本数据处理的

系统 2019-09-27 17:49:36 2225

Python

Python数据类型 — 集合

集合是一个无序的,不重复的数据组合,它的主要作用如下:去重,把一个列表变成集合,就自动去重了关系测试,测试两组数据之前的交集、差集、并集等关系s=set([3,5,9,10])#创建一个数值集合t=set("Hello")#创建一个唯一字符的集合a=t|s#t和s的并集b=t&s#t和s的交集c=t-s#求差集(项在t中,但不在s中)d=t^s#对称差集(项在t或s中,但不会同时出现在二者中)基础功能List=[1,2,5,6,8]List=set(lis

系统 2019-09-27 17:48:36 2225

Python

Python with as 的实现原理

有一些任务,可能事先需要设置,事后做清理工作。对于这种场景,Python的with语句提供了一种非常方便的处理方式。一个很好的例子是文件处理,你需要获取一个文件句柄,从文件中读取数据,然后关闭文件句柄。如果不用with语句,代码如下:file=open("/tmp/foo.txt")data=file.read()file.close()这里有两个问题。一是可能忘记关闭文件句柄;二是文件读取数据发生异常,没有进行任何处理。下面是处理异常的加强版本:file

系统 2019-09-27 17:48:03 2225

Python

python删除列表元素的三种方法(remove,pop,del)

remove删除单个元素,删除首个符合条件的元素,按值删除,返回值为空List_remove=[1,2,2,2,3,4]print(List_remove.remove(2))print("afterremove",List_remove)#None#afterremove[1,2,2,3,4]--------------------------------------------------------------------------------po

系统 2019-09-27 17:47:09 2225

Python

python操作redis用法详解

python操作redis用法详解转载地址1、redis连接redis提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,Redis是StrictRedis的子类,用于向后兼容旧版本的redis-py。redis连接实例是线程安全的,可以直接将redis连接实例设置为一个全局变量,直接使用。如果需要另一个Redis实例(orRedis数据库)时,就需要重新创建redi

系统 2019-09-27 17:46:35 2225

Python

Python 命令行之旅 —— 初探 argparse

Python命令行之旅——初探argparse作者:HelloGitHub-ProdesireHelloGitHub的《讲解开源项目》系列,项目地址:https://github.com/HelloGitHub-Team/Article『讲解开源项目系列』启动——让对开源项目感兴趣的人不再畏惧、让开源项目的发起者不再孤单。跟着我们的文章,你会发现编程的乐趣、使用和发现参与开源项目如此简单。欢迎联系我们给我们投稿,让更多人爱上开源、贡献开源~前言你是否好奇过

系统 2019-09-27 17:45:25 2225

Python

python实现SMTP邮件发送功能

一直想着给框架添加邮件发送功能、所以整理下python下邮件发送功能首先python是支持邮件的发送、内置smtp库、支持发送纯文本、HTML及添加附件的邮件。之后是邮箱、像163、qq、新浪等邮箱默认关闭SMTP服务,需要我们手动打开,打开后通过发件人邮箱、授权密码通过发件人的SMTP服务发送代码如下:#!/usr/bin/envpython#-*-coding:utf_8-*-fromemail.mime.textimportMIMETextfrome

系统 2019-09-27 17:38:43 2225

Python

详解Python网络爬虫功能的基本写法

网络爬虫,即WebSpider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。1.网络爬虫的定义网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来,网络爬虫

系统 2019-09-27 17:38:28 2225

Python

零基础写python爬虫之抓取糗事百科代码分享

项目内容:用Python写的糗事百科的网络爬虫。使用方法:新建一个Bug.py文件,然后将代码复制到里面后,双击运行。程序功能:在命令提示行中浏览糗事百科。原理解释:首先,先浏览一下糗事百科的主页:http://www.qiushibaike.com/hot/page/1可以看出来,链接中page/后面的数字就是对应的页码,记住这一点为以后的编写做准备。然后,右击查看页面源码:观察发现,每一个段子都用div标记,其中class必为content,title

系统 2019-09-27 17:38:06 2225

Python

Python OS模块常用函数说明

Python的标准库中的os模块包含普遍的操作系统功能。如果你希望你的程序能够与平台无关的话,这个模块是尤为重要的。即它允许一个程序在编写后不需要任何改动,也不会发生任何问题,就可以在Linux和Windows下运行。下面列出了一些在os模块中比较有用的部分。它们中的大多数都简单明了。os.sep可以取代操作系统特定的路径分隔符。windows下为“\\”os.name字符串指示你正在使用的平台。比如对于Windows,它是'nt',而对于Linux/Un

系统 2019-09-27 17:37:58 2225

Python

Python处理RSS、ATOM模块FEEDPARSER介绍

由于Googlereader的关闭,这段时间接触rss的东西相对多很多。试过qq的reader,不怎么样,阅读速度没有,是否阅读的标记也没有。其他网站的不想用,又要多注册账户。找到python的rss处理包feedparser,官方文档很详细。http://pythonhosted.org/feedparser/复制代码代码如下:>>>importfeedparser>>>d=feedparser.parse(‘http://0x55aa.sinaapp.

系统 2019-09-27 17:37:43 2225

Python

Python命名规范

《Python开发技术详解》试读:2.2.1命名规则2.2Python的编码规则Python语言有自己独特的编码规则,包括命名规则、代码书写规则等。本节将详细介绍Python中常用的规则,并解释这些规则的原理和由来。2.2.1命名规则Python语言有一套自己的命名规则

系统 2019-08-29 23:07:09 2225

Python

深入了解Python枚举类型的相关知识

枚举类型可以看作是一种标签或是一系列常量的集合,通常用于表示某些特定的有限集合,例如星期、月份、状态等。Python的原生类型(Built-intypes)里并没有专门的枚举类型,但是我们可以通过很多方法来实现它,例如字典、类等:MiracleLove={'MON':'林志玲','TUS':'陈意涵','WEN':'张柏芝','THU':'辛芷蕾','FRI':'周冬雨'}classMiracleLove:MON='林志玲'TUS='陈意涵'WEN='张柏

系统 2019-09-27 17:56:49 2224

Python

Python学习二:关于VS2017中pip3 install

Python3.6执行pip3installtesserocrpillow,报错:error:MicrosoftVisualC++14.0isrequired.Getitwith"MicrosoftVisualC++BuildTools":http://landinghub.visualstudio.com/visual-cpp-build-tools解决办法:去下方链接下载匹配版本的whl文件https://github.com/simonfluecki

系统 2019-09-27 17:55:27 2224

Python

Python入门篇之面向对象

面向对象设计与面向对象编程的关系面向对象设计(OOD)不会特别要求面向对象编程语言。事实上,OOD可以由纯结构化语言来实现,比如C,但如果想要构造具备对象性质和特点的数据类型,就需要在程序上作更多的努力。当一门语言内建OO特性,OO编程开发就会更加方便高效。另一方面,一门面向对象的语言不一定会强制你写OO方面的程序。例如C++可以被认为“更好的C”;而Java,则要求万物皆类,此外还规定,一个源文件对应一个类定义。然而,在Python中,类和OOP都不是日

系统 2019-09-27 17:55:11 2224