最近在工作中遇到了嵌套多层的json串，不仅包括类似于python字典的嵌套，里面还有数组的嵌套。具体的例子如下，在这里列举了三个例子，其实处理了大约500万条，虽然嵌套也挺多，但相对于专业的爬虫工程师来说，这肯定是小意思而已。这个json串的意思是一个企业所对应的规则，前面是企业的id（因为保密，所以企业id肯定更改了），因为本人是在滴滴，所以对应的规则当然是用车规则了，还是因为保密，所以规则的具体内容也不介绍了，只需要知道json串中的一个键值对对应一
系统 2019-09-27 17:52:16 2272
如下所示：'''@author:Jacobpc'''importosimportsysimportsubprocessdefget_process_id(name):child=subprocess.Popen(["pgrep","-f",name],stdout=subprocess.PIPE,shell=False)response=child.communicate()[0]returnresponsepid=get_process_id("pyth
系统 2019-09-27 17:51:27 2272
PythonORM概览作为一个美妙的语言，Python除了SQLAlchemy外还有很多ORM库。在这篇文章里，我们将来看看几个流行的可选ORM库，以此更好地窥探到PythonORM境况。通过写一段脚本来读写2个表，person和address到一个简单的数据库，我们能更好地理解每个ORM库的优缺点。SQLObjectSQLObject是一个介于SQL数据库和Python之间映射对象的PythonORM。得益于其类似于RubyonRails的ActiveR
系统 2019-09-27 17:49:05 2272
1.什么是FM？FM即FactorMachine，因子分解机。2.为什么需要FM？1、特征组合是许多机器学习建模过程中遇到的问题，如果对特征直接建模，很有可能会忽略掉特征与特征之间的关联信息，因此，可以通过构建新的交叉特征这一特征组合方式提高模型的效果。2、高维的稀疏矩阵是实际工程中常见的问题，并直接会导致计算量过大，特征权值更新缓慢。试想一个10000*100的表，每一列都有8种元素，经过one-hot独热编码之后，会产生一个10000*800的表。因此
系统 2019-09-27 17:48:36 2272
妹子图网站爬取---前言从今天开始就要撸起袖子，直接写Python爬虫了，学习语言最好的办法就是有目的的进行，所以，接下来我将用10+篇的博客，写爬图片这一件事情。希望可以做好。为了写好爬虫，我们需要准备一个火狐浏览器，还需要准备抓包工具，抓包工具，我使用的是CentOS自带的tcpdump，加上wireshark，这两款软件的安装和使用，建议你还是学习一下，后面我们应该会用到。妹子图网站爬取---网络请求模块requests妹子图网站爬取---安装req
系统 2019-09-27 17:45:42 2272
前言WAF上线之后，处理最多的是误报消除。产生误报有多种原因，比如web应用源码编写时允许客户端提交过多的cookie；比如单个参数提交的数值太大。把误报降低到了可接受的范围后，还要关注漏报。WAF不是神，任何WAF都可能被绕过。所以还需要定位漏过的攻击，明确漏报的原因，才能updateWAF的策略。要定位漏报，就必须分析Web应用的访问日志了。一个站点，每天产生的access日志大概接近1GB，显然靠肉眼看是不现实的。这就需要用python帮助自动分析。
系统 2019-09-27 17:37:54 2272
对于部署在新浪应用引擎SAE上的项目，使用新浪SAE云存储是不错的存储方案。新浪SAE云存储仅能在SAE环境中正常使用，对它进行简单封装后，可以直接在Flask中使用，项目代码见GitHub上Flask-SaeStorage。使用示例代码：复制代码代码如下:fromflaskimportFlaskfromflask_saestorageimportSaeStorageSAE_ACCESS_KEY='SAEAccessKey'SAE_SECRET_KEY='
系统 2019-09-27 17:37:46 2272
Textbox的自动完成（AutoCompletion）功能张洪举（http://www.vfptop.com）MicrosoftVisualFoxProMVP概述在即将发布的VFP9.0（公测Beta版可以从http://msdn.microsoft.com/vfoxpro/下载）中，为Textbox控件增加了类似IE浏览器的“自动完成”（AutoCompletion）功能。在IE浏览器的地址栏中，用户输入一个链接地址，会显示一个与之相匹配的所有地址列表
系统 2019-08-29 23:41:09 2272
多年来，假防病毒软件FAKEAV变种一直是Windows平台的困扰。但最近，该恶意软件也开始转战MacOSX平台。就像Windows平台的假防病毒软件FAKEAV变种一样，Mac平台的假防病毒软件最常利用的感染途径同样也是毒化的搜索引擎关键词。作者：JoeyCostoya（趋势科技资深威胁研究员）举例来说，以下就是一个遭到毒化的搜索结果：如果在Mac计算机上点选该链接，用户将被连到下列网页：单击上图中的OK按钮，就会出现一个看似在帮系统扫瞄病毒的界面。假的
系统 2019-08-29 23:25:50 2272
今天看到一本书《SOA思想、技术与系统集成应用详解》，搜索电子版未遂。无意间看到一个关于此书的读书笔记，遂转载之，以便留个记号：SOA，听是我们听得多了，各种厂商不断推广他们的方案，但是它实际是什么呢？让我们通过书本来慢慢揭开它的神秘面纱。SOA的英文全称为“ServiceOrientedArchitecture”，中文翻译为“面向服务的架构”①。那么它就是WebService吗？还是说是服务总线架构技术吗？其实，这两者都不是。书中明确指出：SOA本质是一
系统 2019-08-29 23:14:30 2272
