编程技术

flume-ng 日志收集系统单机测试demo

a.单机测试flume-ng启动agent的命令为:$bin/flume-ngagent-n$agent_name-cconf-fconf/flume-conf.properties.template添加如下配置文件example.conf#example.conf:Asingle-nodeFlumeconfiguration#Namethecomponentsonthisagentagent1.sources=source1agent1.sinks=si

系统 2019-08-12 09:29:54 2191

编程技术

NYOJ坦克大战+懒省事的小明(优先队列问题)

今天看了优先队列问题,顺便水了两道题,嘿嘿,好久没写博客了,今天晚上回来,宿舍的那台大头机居然破天荒的能够连上网页,总结一下今天的收获……下面是我看的关于优先队列资料:在优先队列中,优先级高的元素先出队列。标准库默认使用元素类型的<操作符来确定它们之间的优先级关系。优先队列的第一种用法,也是最常用的用法:priority_queueqi;通过<操作符可知在整数中元素大的优先级高。故示例1中输出结果为:96532第二种方法:在示例1中,如果我们要把

系统 2019-08-12 09:29:44 2191

Python

糟了,上网记录被Python扒下来了!

来源|高级农民工(ID:Mocun6)责编|胡巍巍长时间使用浏览器会积累大量浏览器历史记录,这些是很隐私的数据,里面甚至可能有一些不可描述的网站或者搜索记录不想让别人知道。不过,我们自己可能会感兴趣,天天都在上网,想知道长期下来是都在摸鱼还是有认真工作。其次,了解下自己每天打开多少次网页、哪些网站上的最多、常搜哪些关键词,这些也很有趣。下面就来给大家介绍一款Python编写的神工具,可以一键分析你的上网行为。我用了后发现了很多不可思议的结论。比如访问次数最

系统 2019-09-27 17:56:03 2190

Python

python3 基础

目录基础特性数据结构/常用函数函数类装饰器文件异常模块常用模块基础特性●首部添加#!/usr/bin/envpython3表示这是一个python3程序●变量为动态类型,弱类型语言的主要特性之一,要声明变量直接变量名=xx即可,如x=777●语句之后没有分号;作为结束,取而代之的是每行首部的缩进进行标识●运算符号中**代表^即指数,#为//,即注释,"""..."""为文档字符串,即/**...*/●默认数值类型为浮点型●基本类型函数;int(变量),fl

系统 2019-09-27 17:54:49 2190

Python

python数据预处理之将类别数据转换为数值的方法

在进行python数据分析的时候,首先要进行数据预处理。有时候不得不处理一些非数值类别的数据,嗯,今天要说的就是面对这些数据该如何处理。目前了解到的大概有三种方法:1,通过LabelEncoder来进行快速的转换;2,通过mapping方式,将类别映射为数值。不过这种方法适用范围有限;3,通过get_dummies方法来转换。importpandasaspdfromioimportStringIOcsv_data='''A,B,C,D1,2,3,45,6,

系统 2019-09-27 17:54:40 2190

Python

使用pip安装python库的多种方式

操作系统:CentOS7.5.1804_x64Python版本:3.6.81、使用pip在线安装1.1安装单个package格式如下:pipinstallSomePackage示例如下:比如:pipinstallscipy或者指定版本安装:pipinstallscipy==1.3.01.2安装多个package示例如下:pipinstall-rreq.txtreq.txt可以通过以下命令获取:pipfreeze>req.txt1.3在线安装的其它问题1.3

系统 2019-09-27 17:53:19 2190

Python

Python学习笔记002——python基础知识(1)

变量的命名1标识符和关键字1.1标识符标示符就是程序员定义的变量名、函数名名字需要有见名知义的效果标示符可以由字母、下划线和数字组成不能以数字开头不能与关键字重名举例:fromNo12(√)from#12(×)my_Boolean(√)my-BooleanObj2(√)2ndObj(×)myInt(√)My_tExt(√)_test(√)test!32(√)haha(da)tt(×)jack_rose(√)jack&rose(×)1.2关键字关键字就是在P

系统 2019-09-27 17:53:15 2190

Python

python3中替换python2中cmp函数的实现

python3.4.3的版本中已经没有cmp函数,被operator模块代替,在交互模式下使用时,需要导入模块。在没有导入模块情况下,会出现提示找不到cmp函数了,那么在python3中该如何使用这个函数呢?所以要导入模块看下面给的内置函数operator.lt(a,b)operator.le(a,b)operator.eq(a,b)operator.ne(a,b)operator.ge(a,b)operator.gt(a,b)operator.__lt_

系统 2019-09-27 17:52:56 2190

Python

python文件及路径管理函数

glob模块说明:1、glob是python自己带的一个文件操作相关模块,用它可以查找符合自己目的的文件,就类似于Windows下的文件搜索,支持通配符操作*、?、[]这三个通配符,*代表0个或多个字符,?代表一个字符,[]匹配指定范围内的字符,如[0-9]匹配数字。glob.glob("字符串+通配符")该方法返回指定路径所有匹配的文件的列表,该方法需要一个参数用来指定匹配的路径字符串(本字符串可以为绝对路径也可以为相对路径),其返回的文件名只包括当前目

系统 2019-09-27 17:52:15 2190

Python

一些Centos Python 生产环境的部署命令(推荐)

Justnotes拿到一台干净的centos之后,初始化Python环境,一些命令和问题记录而已可以搞成脚本自动初始化,当然,用docker更好基础环境1.创建用户sudoaddusernewusersudopasswdnewuser#设置授权不需要输入密码sudo/usr/sbin/visudonewuserALL=NOPASSWD:ALL2.EPEL(FedoraExtraPackagesforEnterpriseLinuxrepository)参考文

系统 2019-09-27 17:51:15 2190

Python

第四天 python 常用的字符串的操作

Python访问字符串中的值name="huanfengdebianchengriji"print("首字母大写",name.capitalize())print("i的个数",name.count("i"))print("输出name50个如果长度不够,两边补-居中输出",name.center(50,"-"))print("输出name50个如果长度不够,右边补",name.ljust(50,"-"))print("输出name50个如果长度不够,左边

系统 2019-09-27 17:50:36 2190

Python

Python中的面向对象编程详解(下)

继承继承描述了基类的属性如何“遗传”给派生类。一个子类可以继承它的基类的任何属性,不管是数据属性还是方法。创建子类的语法看起来与普通(新式)类没有区别,一个类名,后跟一个或多个需要从其中派生的父类:复制代码代码如下:classSubClassName(ParentClass1[,ParentClass2,...]):'optionalclassdocumentationstring'class_suite实例复制代码代码如下:classParent(obj

系统 2019-09-27 17:50:10 2190

Python

python threading模块(全)

一、线程与进程的介绍参考之前写的VC++的多线程与互斥对象:https://blog.csdn.net/Gordennizaicunzai/article/details/52268343二、python全局解析器锁(GIL)。python代码相对于其它语言在多线程效率上有个“先天性缺陷”——python有个虚拟机(又名解析器主循环)对代码进行执行控制,在解析器主循环中单位时间内只能有一个控制线在执行。意思是任意时刻只能有一个程序在运行,即使内存中有多个程

系统 2019-09-27 17:48:22 2190

Python

python ORM模块sqlalchemy的使用

1、安装sqlalchemypipinstallsqlalchemy2、导入必要的包及模块importsqlalchemyfromsqlalchemy.ext.declarativeimportdeclarative_basefromsqlalchemy.ormimportsessionmaker3、创建数据库连接实例#创建数据库连接实例(#"数据库类型+数据库模块://用户名:密码@主机/库名")db=sqlalchemy.create_engine("

系统 2019-09-27 17:47:28 2190

Python

Python --Windows下的安装

AnacondaPython的编写环境,用Anaconda就够了。Anaconda是专业的数据科学计算环境,已经集成绝大部分包和工具,不需要多余的安装和调试,使用方便。所以以下我们就讲解一下Anaconda的安装~Anaconda是一个Python平台,用的ipython内核到时候可以用JupyterNotebook编辑器但推荐用Spyder下载一个Anaconda百度上面有很多教程Anaconda官网选择Windows点击Download下载Python

系统 2019-09-27 17:46:55 2190