最近在工作中遇到了嵌套多层的json串，不仅包括类似于python字典的嵌套，里面还有数组的嵌套。具体的例子如下，在这里列举了三个例子，其实处理了大约500万条，虽然嵌套也挺多，但相对于专业的爬虫工程师来说，这肯定是小意思而已。这个json串的意思是一个企业所对应的规则，前面是企业的id（因为保密，所以企业id肯定更改了），因为本人是在滴滴，所以对应的规则当然是用车规则了，还是因为保密，所以规则的具体内容也不介绍了，只需要知道json串中的一个键值对对应一
系统 2019-09-27 17:52:16 2410
今天我想讲一讲关于Elasticsearch的索引建立，当然提前是你已经安装部署好Elasticsearch。ok，先来介绍一下Elaticsearch，它是一款基于lucene的实时分布式搜索和分析引擎，是后台系统，用来存储数据，检索数据，属于完全命令行交互。那为什么选择python作为脚本进行命令的写入和数据的上传呢？那是因为Python里面有固定的模板，可以上传数据到Elasticsearch。接下来就聊一聊该如何编写代码：我们上传数据之后，数据到哪
系统 2019-09-27 17:51:02 2410
HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等，是一种处理html的简便途径。HTMLParser采用的是一种事件驱动的模式，当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它主要的用户回调函数的命名都是以handler_开头的，都是HTMLParser的成员函数。当我们使用时，就从HTMLParser派生出新的类，然后重新定义这几个以handler_开头的函
系统 2019-09-27 17:50:28 2410
网络上现有的windows下搭建scrapy教程都比较旧，一般都是咔咔咔安装一堆软件，太麻烦，这是因为scrapy框架用到好多不同的模块，其实查阅最新的官网scrapy文档，在windows下搭建scrapy框架，官方文档是建议使用集成包的，以免安装太过复杂而出现问题，首先百度scrapy，就可以找到scrapy的官方文档1、找到windows下的框架安装的文档教程，这里建议我们安装Anaconda或者Miniconda集成包，下面我选择安装Minicon
系统 2019-09-27 17:50:07 2410
itchat是一个开源的微信个人号接口，使用python调用微信从未如此简单。开源地址https://github.com/littlecodersh/ItChat文档：https://itchat.readthedocs.io/zh/latest/安装：pip3installitchat登入与登出登入并向文件助手发送一句话,登入时会经过扫码操作，类似于电脑微信登入importitchat#登入并保存登入状态，实现第一次运行时扫码，一定时间内再次运行就不用
系统 2019-09-27 17:47:05 2410
正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不同的编程语言实现支持的语法数量不同；但不用担心，不被支持的语法通常是不常用的部分。1、常用符号.：匹配任意字符，换行符\n除外：匹配前一个字符0次或无限次?：匹配前一个字符0次或1次.*：贪心算法，尽可能的匹配多
系统 2019-09-27 17:46:41 2410
前言在iOS项目开发的过程中，如果版本迭代开发的时间比较长，那么在很多版本开发以后或者说有多人开发参与以后，工程中难免有一些垃圾资源，未被使用却占据着api包的大小！这里我通过Python脚本来查找项目中未被使用的图片、音频、视频资源，然后删除掉；以达到减小APP包大小的目的！代码先查找项目中所以的资源文件存到你数组里面defsearchAllResName(file_dir):global_resNameMapfs=os.listdir(file_dir
系统 2019-09-27 17:45:52 2410
在文章《Subversion详细说明》中，我们曾经建立了一个版本控制仓库，现在打开这个版本控制仓库，让我们来看看这个目录结构，我们会在目录结构中找到一个叫做conf的文件夹，打开这个文件夹，你会看到三个文件，分别叫做authz，passwd，svnserve.conf。下面我们就来介绍一下这三个文件的作用格式什么。首先，我们介绍passwd这个文件。用你习惯的文本编辑器打开这个文件，你会看到一些使用“#”注释掉的说明，其中关键的就是在[users]下面，有
系统 2019-08-29 23:52:37 2410
树的遍历是树的一种重要的运算。所谓遍历是指对树中所有结点的系统的访问，即依次对树中每个结点访问一次且仅访问一次。树的3种最重要的遍历方式分别称为前序遍历、中序遍历和后序遍历。以这3种方式遍历一棵树时，若按访问结点的先后次序将结点排列起来，就可分别得到树中所有结点的前序列表，中序列表和后序列表。相应的结点次序分别称为结点的前序、中序和后序。树的这3种遍历方式可递归地定义如下：如果T是一棵空树，那么对T进行前序遍历、中序遍历和后序遍历都是空操作，得到的列表为空
系统 2019-08-29 23:08:21 2410
承接上一篇博客2.那么下面我们就按照上面的分析，来完成实现的算法首先我们先分析一下分页用到的变量我们首先要定当前页，还有总记录数和以及每页显示条数和每屏的开始索引和结束索引，以及总的页数，和要查询当前页的信息，以及每屏显示的最大页数值定义好了这些下面我们就写我们的算法//这是关于分页的逻辑计算，算法多多营养多多（）if(endindex>lastPage){endindex=lastPage;//其中endiex是索引结束，lastPage//是总的页数}
系统 2019-08-29 23:03:58 2410
