以前从来也没想过要去看库里的代码,咱想,那怎么也是很底层的代码,居然发现库里的代码也可以这样写,那就先读懂这个ETLLib(跨windows与Linux平台,封装了一些基本的系统调用函数,然后实现定制化的实现自己的容器),Qt的库代码更全面,当然也更复杂。先看看ETTLib是如何被实现的,其中的技巧与设计是我需要汲取的,首先,向前辈SYZ致敬!#ifndef__cplusplus#erroruseNOTforcp
系统 2019-08-12 09:27:05 2380
1集群环境主节点master001~~master006从节点slave001~~slave0642安装CDH5的YUM源rpm-Uvhhttp://archive.cloudera.com/cdh5/one-click-install/redhat/6/x86_64/cloudera-cdh-5-0.x86_64.rpm或wgethttp://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-c
系统 2019-08-12 01:33:02 2380
Createdalabel,nameisFinishForm,textisAnexceptionoftypeSystem.IO.InvalidDataExceptionwasthrown.Additionalexceptioninformation:Thewebconfigrationfile,C:\ProgramFiles\CommonFiles\MicrosoftShared\WebServerExtensions\12\config\webconfi
系统 2019-08-12 01:32:55 2380
前言文件和目录操作是很常见的功能,这里做个简单的总结,包括注意事项和实际的实现代码,基本日常开发都够用了目录操作判断目录或是文件是否存在os.path.exists(path)判断是否是文件或是目录#如果文件或是目录不存在也会返回Falseos.path.isfile(path)os.path.isdir(path)创建/删除目录os.mkdir(path)os.rmdir(path)得到当前的目录名称os.path.split(dir_path)[1]这
系统 2019-09-27 17:57:44 2379
下午在用python将Linux的conf配置文件转化成字典dict时遇到了一个奇怪的问题,原先conf配置文件中没有注释行(以#开头的行),后来为了避免这种情况,添加了一个对以#开头的行删除的操作。实践结果颠覆了已有的认知,直接上代码示例。代码片段1#!/usr/bin/python#encoding:utf-8#-*-coding:utf8-*-importrelist_to_test=['#','#conf','NAME="Ubuntu"','VER
系统 2019-09-27 17:56:35 2379
官方文档解释:轴用来为超过一维的数组定义的属性,二维数据拥有两个轴:第0轴沿着行的垂直往下,第1轴沿着列的方向水平延伸。注意看,官方对于0和1的解释是轴,也就是坐标轴。而坐标轴是有方向的,所以千万不要用行和列的思维去想axis,因为行和列是没有方向的,这样想会在遇到不同的例子时感到困惑。根据官方的说法,1表示横轴,方向从左到右;0表示纵轴,方向从上到下。当axis=1时,数组的变化是横向的,而体现出来的是列的增加或者减少。其实axis的重点在于方向,而不是
系统 2019-09-27 17:56:04 2379
什么是24点我们先来约定下老王和他媳妇玩的24点规则:给定4个任意数字(0-9),然后通过+,-,*,/,将这4个数字计算出24。小时候玩的都是这个规则,长大了才有根号,才有各种莫名其妙的高级算法,不好玩了,因为我不会。可能有人会觉得很简单,但是真的简单吗?比如:8,3,3,37,3,3,3你能一眼看出来答案吗?好像真的可以……大致思路这样想,将四个数字进行全排列,在他们之间添加运算符号。运算符我们需要进行排列组合,因为只有四个数字,所以只需要三个运算符,
系统 2019-09-27 17:55:01 2379
int(x,[base])功能:函数的作用是将一个数字或base类型的字符串转换成整数。函数原型:int(x=0)int(x,base=10),base缺省值为10,也就是说不指定base的值时,函数将x按十进制处理。适用Python版本:Python2.xPython3.x注意:1.x可以是数字或字符串,但是base被赋值后x只能是字符串2.x作为字符串时必须是base类型,也就是说x变成数字时必须能用base进制表示Python英文文档解释:class
系统 2019-09-27 17:53:37 2379
最近在工作中遇到了嵌套多层的json串,不仅包括类似于python字典的嵌套,里面还有数组的嵌套。具体的例子如下,在这里列举了三个例子,其实处理了大约500万条,虽然嵌套也挺多,但相对于专业的爬虫工程师来说,这肯定是小意思而已。这个json串的意思是一个企业所对应的规则,前面是企业的id(因为保密,所以企业id肯定更改了),因为本人是在滴滴,所以对应的规则当然是用车规则了,还是因为保密,所以规则的具体内容也不介绍了,只需要知道json串中的一个键值对对应一
系统 2019-09-27 17:52:16 2379
写的dht协议搜索的程序,这几天优化了一下发现速度确实快了好多。但是出现了一个新的问题,内存直接飙升,我开了十个爬虫占用内存800m。开始我以为是节点太多了,找了几个小问题修改一下,发现没用。后来就到网上查找python内存分析的工具,查了一点资料发现python有个meliae库操作非常方便,就使用分析了一下,发现不是节点太多的原因00,是保存发送的t_id,用来标示返回的消息是那个发出的一个字典过大了。从分析的结果非常容易的定位了某个对象的数量和大小,
系统 2019-09-27 17:52:11 2379