在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据：硬件环境CPU：3.5GHzIntelCorei7内存：32GBHDDR31600MHz硬盘：3TBFusionDrive数据
系统 2019-09-27 17:50:47 2135
[外链图片转存中...(img-CUYTKo4b-1568552381026)]总章一.学习前言二.环境搭建三.Python的基本概念一.学习前言很多人在自学Python的时候，总是不知道如何学习，不知道该怎么学，今天看到框架，就想学flask或者其他框架，但是当学的时候又茫然了，不知道怎么学；想学Python，但是又不知道Python就业方向以及前景如何，小编给大家强力推荐一套Python学习方法，只要按照这个方法去学，那么，在和别人同时学习的时候，在同
系统 2019-09-27 17:50:02 2135
二、Python安装和第一个程序<1.Python语言介绍1.官方介绍：Python是一款易于学习且功能强大的编程语言。它具有高效率的数据结构，能够简单又有效地实现面向对象编程。Python简洁的语法与动态输入之特性，加之其解释性语言的本质，使得它成为一种在多种领域与绝大多数平台都能进行脚本编写与应用快速开发工作的理想语言。2.特点：简单、易于学习、自由且开放、跨平台、可嵌入性、丰富的库。3.Python使用情况：目前已经超越java成为第一，一下为部分使
系统 2019-09-27 17:49:58 2135
01-初心缘由最近在研究语音识别方向，看了很多的语音识别的资料和文章，了解了一下语音识别的前世今生，其中包含了很多算法的演变，目前来说最流行的语音识别算法主要是依赖于深度学习的神经网络算法，其中RNN扮演了非常重要的作用，深度学习的应用真正让语音识别达到了商用级别。然后我想动手自己做一个语音识别系统，从GitHub上下载了两个流行的开源项目MASR和ASRT来进行复现，发现语音识别的效果没有写的那么好，其中如果要从零来训练自己的语言模型势必会非常耗时。因此
系统 2019-09-27 17:49:34 2135
log日志监测程序运行：可以1⃣️Linux重定向将python运行报错记录到log日志中，2⃣️或者用python内置的logging模块。但是在用logging模块时，try...except...可以捕获到可预见/考虑到的异常，用logging记录到log日志文件中，但是在对于未知异常或导致程序退出时的情形无法记录到log日志中，用Linux的重定向可以捕捉到。现在到问题时我不想用Linux系统提供的重定向方法，我需要捕获python运行中未知的异常
系统 2019-09-27 17:48:09 2135
下面程序能够爬取百度图片一个网页里面的所以图片，值得关注的是匹配字段，正则表达式要写正确，虽然匹配成功的但是爬取的图片还是较少，下篇我会采取get方法来请求更多图片来爬取。importurllib.requestimportreimporttimedefopen_url(url):req=urllib.request.Request(url)req.add_header('User-Agent','Mozilla/5.0(WindowsNT6.1;WOW6
系统 2019-09-27 17:47:28 2135
使用装python饰器做缓存装饰器在之前的文章中有讲过，这里主要是说了装饰器的用法和应该怎么理解。这片文章给出一片补充：主要说在缓存方面的应用。在此之前呢，需要补充一些知识点：就是python查找变量的顺序是什么？答案就是LEGB原则：也就是`Local->Enclosed->Global->Built-in`也就是先在局部作用域内(例如函数内)进行查找，然后在[闭包]1内查找，接下来分别是全局作用域和内置的保留名称注意：闭包内的变量，不能改变，但是对于列
系统 2019-09-27 17:47:18 2135
isnumeric()方法检查字符串是否仅由数字组成。这种方法只表示为Unicode对象。注意：要定义一个字符串为Unicode，只需前缀分配'u'引号。以下是示例。语法以下是isnumeric()方法的语法：str.isnumeric()参数NA返回值如果字符串中的所有字符都是数字此方法返回true，否则返回false。例子下面的例子显示了isnumeric()方法的使用。#!/usr/bin/pythonstr=u"this2009";printstr
系统 2019-09-27 17:47:14 2135
前期准备（烦）装好python传送门！去欧洲中心申请一个账号传送自己看着申请吧，可能要翻墙申请Python的前期配置欧洲中心自带教程传送门简单来说，就是用python链接欧洲中心的api接口调用并下载数据所以前期配置分两步1、让电脑保留你的登录用户信息，并且可以让Python识别、使用2、Python安装一个用于调用欧洲中心api接口的库下面介绍详细步骤第一步获取ECMWF的Key首先登录欧洲中心官网然后上一个传送门就变成这样(我打了马赛克)你可以得到灰色
系统 2019-09-27 17:46:19 2135
TEMPLATESDjango1.8的新特性一个列表，包含所有在Django中使用的模板引擎的设置。列表中的每一项都是一个字典，包含某个引擎的选项。以下是一个简单的设定，告诉Django模板引擎从已安装的应用程序（installedapplications）的templates子目录中读取模板：TEMPLATES=[{'BACKEND':'django.template.backends.django.DjangoTemplates','APP_DIRS'
系统 2019-09-27 17:46:14 2135
