es实现聚合es通过agg实现聚合，详情可见es文档有时候查询es数据的时候可能需要实现多字段groupby的功能，例如：SELECTsum(item_count)fromAgroupbyfield1,field2,field3要实现多个维度的聚合，需要嵌套的agg查询语句:{"query":{},"aggs":{"field1":{"terms":{"field":"field1","size":2147483647#设置一个大的分桶数，防止一次统计不完
系统 2019-09-27 17:51:32 1872
如果你不希望从头开始创造一种数据格式来存放数据，JSON是一个很好的选择。如果你对Python有所了解，就更加事半功倍了。下面就来介绍一下如何使用Python处理JSON数据。JSON的全称是JavaScript对象表示法JavaScriptObjectNotation。这是一种以键值对的形式存储数据的格式，并且很容易解析，因而成为了一种被广泛使用的数据格式。另外，不要因为JSON名称而望文生义，JSON并不仅仅在JavaScript中使用，它也可以在其它
系统 2019-09-27 17:47:24 1872
最近在做周报的时候，需要把csv文本中的数据提取出来制作表格后生产图表。在获取csv文本内容的时候，基本上都是用withopen(filename,encoding='UTF-8')asf:来打开csv文本，但是实际使用过程中发现有些csv文本并不是utf-8格式，从而导致程序在run的过程中报错，每次都需要手动去把该文本文件的编码格式修改成utf-8，再次来run该程序，所以想说：直接在程序中判断并修改文本编码。基本思路：先查找该文本是否是utf-8的编
系统 2019-09-27 17:46:34 1872
在使用Python编写面向对象的代码时，我们会常常使用“继承”这种开发方式。例如下面这一段代码：classInfo:def__init__(self):passdefcalc_age(self):print('我是父类的方法')classPeopleInfo(Info):def__init__(self):super().__init__()defcalc_age(self):print(123456)如果你使用PeopleInfo初始化一个对象，然后调用
系统 2019-09-27 17:46:07 1872
前言在浏览博客时，偶然看到了用python将汉字转为拼音的第三方包，但是在实现的过程中发现一些参数已经更新，现在将两种方法记录一下。xpinyin在一些博客中看到，如果要转化成带音节的拼音，需要传递参数，‘show_tone_marks=True'，但我在实际使用时发现，已经没有这个参数了，变成了tone_marks，其它的参数和使用方法，一看就明白了，写的很清楚。看下源码：classPinyin(object):"""translatechineseha
系统 2019-09-27 17:46:05 1872
命令行方式运行Python脚本在这个章节中，我们将写一些简单的数据库管理脚本。在此之前让我们来复习一下如何通过命令行方式执行Python脚本.如果Linux或者OSX的操作系统，需要有执行脚本的权限。例如：chmoda+xscript.py该脚本有个指向使用解释器的命令行。再脚本赋予执行权限后就可以通过命令行执行，就像这样：likethis:./script.py然而，在Windows系统上这样做是不行的，你必须提供Python解释器作为必选参数，如：复制
系统 2019-09-27 17:45:52 1872
Template无疑是一个好东西，可以将字符串的格式固定下来，重复利用。同时Template也可以让开发人员可以分别考虑字符串的格式和其内容了，无形中减轻了开发人员的压力。Template属于string中的一个类，所以要使用的话可以用以下方式调用fromstringimportTemplateTemplate有个特殊标示符$,它具有以下的规则：它的主要实现方式为$xxx,其中xxx是满足python命名规则的字符串，即不能以数字开头，不能为关键字等如果$
系统 2019-09-27 17:45:29 1872
python语言的3.x完全不向前兼容,导致我们在python2.x中可以正常使用的库,到了python3就用不了了.比如说mysqldb1.安装pymysqlpymysql就是作为python3环境下mysqldb的替代物,进入命令行,使用pip安装pymysqlpipinstallpymysql32.使用pymysql在我们需要使用数据库的.py文件开头添加下面两行importpymysqlpymysql.install_as_MySQLdb()第一行
系统 2019-09-27 17:38:08 1872
Python安装Django本身是纯Python编写的，所以安装框架的第一步是确保你已经安装了Python。Python版本核心Django框架可以工作在2.3至2.6（包括2.3和2.6）之间的任何Python版本。Django的可选GIS（地理信息系统）支持需要Python2.4到2.6。如果你不确定要安装Python的什么版本，并且你完全拿不定主意的话,那就选2.x系列的最新版本吧。版本2.6。虽然Django在2.3至2.6版之间的任意Python
系统 2019-09-27 17:37:57 1872
python是支持多线程的，主要是通过thread和threading这两个模块来实现的。thread模块是比较底层的模块，threading模块是对thread做了一些包装的，可以更加方便的使用。虽然python的多线程受GIL限制，并不是真正的多线程，但是对于I/O密集型计算还是能明显提高效率，比如说爬虫。下面用一个实例来验证多线程的效率。代码只涉及页面获取，并没有解析出来。#-*-coding:utf-8-*-importurllib2,timeim
系统 2019-09-27 17:37:56 1872
设置字段可选在摆弄了一会之后，你或许会发现管理工具有个限制：编辑表单需要你填写每一个字段，然而在有些情况下，你想要某些字段是可选的。举个例子，我们想要Author模块中的email字段成为可选，即允许不填。在现实世界中，你可能没有为每个作者登记邮箱地址。为了指定email字段为可选，你只要编辑Book模块（回想第五章，它在mysite/books/models.py文件里），在email字段上加上blank=True。代码如下：classAuthor(mo
系统 2019-09-27 17:37:46 1872
在语句Book.objects.all()中，objects是一个特殊的属性，需要通过它查询数据库。在第5章，我们只是简要地说这是模块的manager。现在是时候深入了解managers是什么和如何使用了。总之，模块manager是一个对象，Django模块通过它进行数据库查询。每个Django模块至少有一个manager，你可以创建自定义manager以定制数据库访问。下面是你创建自定义manager的两个原因：增加额外的manager方法，和/或修ma
系统 2019-09-27 17:37:39 1872
原文分析法（TextualAnalysis），是在用例说明与流程分析的基础上进行的业务领域分析，是一项在需求研讨会后整理和分析需求的工作。当我们完成了用例图的绘制，为每个用例编写出用例说明以后，原文分析的工作就可以开始了。要讲解原文分析，我们还是用一个实例更简单明了：这是一个实际项目的用例说明。在进行原文分析的时候，我们首先要做的事情就是对用例说明中事件流部分的文字描述，提取其中的名词。在这个实例中都有些什么名词呢？这些名词我在用例中用蓝色标注了出来，经过
系统 2019-08-29 21:59:10 1872
概述模块Pickle实现了对一个Python对象结构的二进制的序列化和反序列化。即当Python程序持续运行一些字符串、列表字典、甚至自定义的类等数据对象，需要持久化存储，即存储在磁盘中，防止运行在内存中，因断电等情况丢失数据。那么Pickle模块就派上用场了，它可以将对象转换为一种可以传输或存储的格式。python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过
系统 2019-09-27 17:56:58 1871
Python爬虫包BeautifulSoup递归抓取实例详解概要：爬虫的主要目的就是为了沿着网络抓取需要的内容。它们的本质是一种递归的过程。它们首先需要获得网页的内容，然后分析页面内容并找到另一个URL，然后获得这个URL的页面内容，不断重复这一个过程。让我们以维基百科为一个例子。我们想要将维基百科中凯文・贝肯词条里所有指向别的词条的链接提取出来。#-*-coding:utf-8-*-#@Author:HaonanWu#@Date:2016-12-2510
系统 2019-09-27 17:56:47 1871
