python logging模块使用
logging模块
日志记录的重要性
在开发过程中，我们可以printf或者Debug来排查问题。
但是在生产环境中（黑盒环境）出现问题，我们并不能知道在运行的环境中的哪个地方出现了问题。如果我们当时有日志记录，我们就可以方便地追踪到在当时运行过程中出现了怎样的状况，从而排查问题。
日志记录是非常有必要的，任何一款软件如果没有标准的日志记录，都不能算作一个合格的软件。作为开发者，我们需要重视并做好日志记录过程。
logging的工作框图
- Logger：即 Logger Main Class，是我们进行日志记录时创建的对象，我们可以调用它的方法传入日志模板和信息，来生成一条条日志记录，称作 Log Record。
- Log Record：就代指生成的一条条日志记录。
- Handler：即用来处理日志记录的类，它可以将 Log Record 输出到我们指定的日志位置和存储形式等，如我们可以指定将日志通过 FTP 协议记录到远程的服务器上，Handler 就会帮我们完成这些事情。
- Formatter：实际上生成的 Log Record 也是一个个对象，那么我们想要把它们保存成一条条我们想要的日志文本的话，就需要有一个格式化的过程，那么这个过程就由 Formatter 来完成，返回的就是日志字符串，然后传回给 Handler 来处理。
- Filter：另外保存日志的时候我们可能不需要全部保存，我们可能只需要保存我们想要的部分就可以了，所以保存前还需要进行一下过滤，留下我们想要的日志，如只保存某个级别的日志，或只保存包含某个关键字的日志等，那么这个过滤过程就交给 Filter 来完成。
- Parent Handler：Handler 之间可以存在分层关系，以使得不同 Handler 之间共享相同功能的代码。
logging 模块相比 print 有这么几个优点：
1.可以在 logging 模块中设置日志等级，在不同的版本（如开发环境、生产环境）上通过设置不同的输出等级来记录对应的日志，非常灵活。
2.print 的输出信息都会输出到标准输出流中，而 logging 模块就更加灵活，可以设置输出到任意位置，如写入文件、写入远程服务器等。
3.logging 模块具有灵活的配置和格式化功能，如配置输出当前模块信息、运行时间等，相比 print 的字符串格式化更加方便易用。
logging模块基本使用
简单示例
import
logging
logging.debug('debug message'
)
logging.info('info message'
)
logging.warning('warning message'
)
logging.error('error message'
)
logging.critical('critical message')
输出：
WARNING:root:warning message
ERROR:root:error message
CRITICAL:root:critical message
可见，默认情况下Python的logging模块将日志打印到了标准输出中，且只显示了大于等于WARNING级别的日志，这说明默认的日志级别设置为WARNING（日志级别等级CRITICAL > ERROR > WARNING > INFO > DEBUG > NOTSET），默认的日志格式为日志级别：Logger名称：用户输出消息。
灵活配置日志级别，日志格式，输出位置
import
logging
logging.basicConfig(level=
logging.DEBUG,
format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s'
,
datefmt='%a, %d %b %Y %H:%M:%S'
,
filename='/tmp/test.log'
,
filemode='w'
) logging.debug('debug message'
) logging.info('info message'
) logging.warning('warning message'
) logging.error('error message'
) logging.critical('critical message')
查看输出：
cat /tmp/test.log
Mon, 05 May 2014 16:29:53 test_logging.py[line:9] DEBUG debug message
Mon, 05 May 2014 16:29:53 test_logging.py[line:10] INFO info message
Mon, 05 May 2014 16:29:53 test_logging.py[line:11] WARNING warning message
Mon, 05 May 2014 16:29:53 test_logging.py[line:12] ERROR error message
Mon, 05 May 2014 16:29:53 test_logging.py[line:13] CRITICAL critical message
可见在logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为，可用参数有
filename：用指定的文件名创建FiledHandler（后边会具体讲解handler的概念），这样日志会被存储在指定的文件中。
filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“a”还可指定为“w”。
format：指定handler使用的日志显示格式。
datefmt：指定日期时间格式。
level：设置rootlogger（后边会讲解具体概念）的日志级别
stream：用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件(f=open('test.log','w'))，默认为sys.stderr。若同时列出了filename和stream两个参数，则stream参数会被忽略。
format参数中可能用到的格式化串：
%(name)s Logger的名字
%(levelno)s 数字形式的日志级别
%(levelname)s 文本形式的日志级别
%(pathname)s 调用日志输出函数的模块的完整路径名，可能没有
%(filename)s 调用日志输出函数的模块的文件名
%(module)s 调用日志输出函数的模块名
%(funcName)s 调用日志输出函数的函数名
%(lineno)d 调用日志输出函数的语句所在的代码行
%(created)f 当前时间，用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d 输出日志信息时的，自Logger创建以 来的毫秒数
%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d 线程ID。可能没有
%(threadName)s 线程名。可能没有
%(process)d 进程ID。可能没有
%(message)s用户输出的消息
Logger对象
python的logging模块（logging是线程安全的）给应用程序提供了标准的日志信息输出接口。logging不仅支持把日志输出到文件，还支持把日志输出到TCP/UDP服务器，EMAIL服务器，HTTP服务器，UNIX的syslog系统等。在logging中主要有四个概念：logger、handler、filter和formatter。
Logger对象提供应用程序可直接使用的接口
Handler发送日志到适当的目的地
Filter提供了过滤日志信息的方法
Formatter指定日志显示格式。
简单示例
import logging
logger
=
logging.getLogger()
#
创建一个handler，用于写入日志文件
fh = logging.FileHandler(
'
test.log
'
)
#
再创建一个handler，用于输出到控制台
ch =
logging.StreamHandler()
#设置格式样本
formatter
= logging.Formatter(
'
%(asctime)s - %(name)s - %(levelname)s - %(message)s
'
)
#设置格式
fh.setFormatter(formatter)
ch.setFormatter(formatter)
logger.addHandler(fh)
#
logger对象可以添加多个fh和ch对象
logger.addHandler(ch)
logger.debug(
'
logger debug message
'
)
logger.info(
'
logger info message
'
)
logger.warning(
'
logger warning message
'
)
logger.error(
'
logger error message
'
)
logger.critical(
'
logger critical message
'
)
Logger是一个树形层级结构，输出信息之前都要获得一个Logger（如果没有显示的获取则自动创建并使用root Logger，如第一个例子所示）。
logger = logging.getLogger()返回一个默认的Logger也即root Logger，并应用默认的日志级别、Handler和Formatter设置。
当然也可以通过Logger.setLevel(lel)指定最低的日志级别，可用的日志级别有logging.DEBUG、logging.INFO、logging.WARNING、logging.ERROR、logging.CRITICAL。
Logger.debug()、Logger.info()、Logger.warning()、Logger.error()、Logger.critical()输出不同级别的日志，只有日志等级大于或等于设置的日志级别的日志才会被输出。
输出：
2014-05-06 12:54:43,222 - root - WARNING -
logger warning message
2014-05-06 12:54:43,223 - root - ERROR -
logger error message
2014-05-06 12:54:43,224 - root - CRITICAL - logger critical message
注意：logger = logging.getLogger()返回的Logger名为root。这里没有用logger.setLevel(logging.Debug)显示的为logger设置日志级别，所以使用默认的日志级别WARNIING，故结果只输出了大于等于WARNIING级别的信息。
创建两个logger对象
import
logging
#
创建一个handler，用于写入日志文件
fh = logging.FileHandler(
'
test.log
'
)
#
再创建一个handler，用于输出到控制台
ch =
logging.StreamHandler()
logger1
= logging.getLogger(
'
mylogger
'
)
logger1.setLevel(logging.DEBUG)
logger2
= logging.getLogger(
'
mylogger
'
)
logger2.setLevel(logging.INFO)
logger1.addHandler(fh)
logger1.addHandler(ch)
logger2.addHandler(fh)
logger2.addHandler(ch)
logger1.debug(
'
logger1 debug message
'
)
logger1.info(
'
logger1 info message
'
)
logger1.warning(
'
logger1 warning message
'
)
logger1.error(
'
logger1 error message
'
)
logger1.critical(
'
logger1 critical message
'
)
logger2.debug(
'
logger2 debug message
'
)
logger2.info(
'
logger2 info message
'
)
logger2.warning(
'
logger2 warning message
'
)
logger2.error(
'
logger2 error message
'
)
logger2.critical(
'
logger2 critical message
'
)
输出：
logger1 info message
logger1 warning message
logger1 error message
logger1 critical message
logger2 info message
logger2 warning message
logger2 error message
logger2 critical message
我们明明通过logger1.setLevel(logging.DEBUG)将logger1的日志级别设置为了DEBUG，为何显示的时候没有显示出DEBUG级别的日志信息，而是从INFO级别的日志开始显示呢？
原来logger1和logger2对应的是同一个Logger实例，只要logging.getLogger（name）中名称参数name相同则返回的Logger实例就是同一个，且仅有一个，也即name与Logger实例一一对应。在logger2实例中通过logger2.setLevel(logging.INFO)设置mylogger的日志级别
为logging.INFO，所以最后logger1的输出遵从了后来设置的日志级别。
两个子对象与一个root对象
import
logging
#
创建一个handler，用于写入日志文件
fh = logging.FileHandler(
'
test.log
'
)
#
再创建一个handler，用于输出到控制台
ch =
logging.StreamHandler()
logger
=
logging.getLogger()
logger1
= logging.getLogger(
'
mylogger
'
)
logger1.setLevel(logging.DEBUG)
logger2
= logging.getLogger(
'
mylogger
'
)
logger2.setLevel(logging.INFO)
logger.addHandler(fh)
logger.addHandler(ch)
logger1.addHandler(fh)
logger1.addHandler(ch)
logger2.addHandler(fh)
logger2.addHandler(ch)
logger.debug(
'
logger debug message
'
)
logger.info(
'
logger info message
'
)
logger.warning(
'
logger warning message
'
)
logger.error(
'
logger error message
'
)
logger.critical(
'
logger critical message
'
)
logger1.debug(
'
logger1 debug message
'
)
logger1.info(
'
logger1 info message
'
)
logger1.warning(
'
logger1 warning message
'
)
logger1.error(
'
logger1 error message
'
)
logger1.critical(
'
logger1 critical message
'
)
logger2.debug(
'
logger2 debug message
'
)
logger2.info(
'
logger2 info message
'
)
logger2.warning(
'
logger2 warning message
'
)
logger2.error(
'
logger2 error message
'
)
logger2.critical(
'
logger2 critical message
'
)
输出：
logger warning message
logger error message
logger critical message
logger1 info message
logger1 info message
logger1 warning message
logger1 warning message
logger1 error message
logger1 error message
logger1 critical message
logger1 critical message
logger2 info message
logger2 info message
logger2 warning message
logger2 warning message
logger2 error message
logger2 error message
logger2 critical message
logger2 critical message
为什么logger1、logger2对应的每个输出分别显示两次?
这是因为我们通过logger = logging.getLogger()显示的创建了root Logger，而logger1 = logging.getLogger('mylogger')创建了root Logger的孩子(root.)mylogger,logger2同样。而孩子,孙子，重孙……既会将消息分发给他的handler进行处理也会传递
给所有的祖先Logger处理。
ok,那么现在我们把
# logger.addHandler(fh)
# logger.addHandler(ch) 注释掉，我们再来看效果：
输出：
logger warning message
logger error message
logger critical message
logger1 info message
logger1 warning message
logger1 error message
logger1 critical message
logger2 info message
logger2 warning message
logger2 error message
logger2 critical message
因为我们注释了logger对象显示的位置，所以才用了默认方式，即标准输出方式。因为它的父级没有设置文件显示方式，所以在这里只打印了一次。
孩子,孙子，重孙……可逐层继承来自祖先的日志级别、Handler、Filter设置，也可以通过Logger.setLevel(lel)、Logger.addHandler(hdlr)、Logger.removeHandler(hdlr)、Logger.addFilter(filt)、Logger.removeFilter(filt)。
设置自己特别的日志级别、Handler、Filter。若不设置则使用继承来的值。
Filter
限制只有满足过滤规则的日志才会输出。
比如我们定义了filter
= logging.Filter(
'
a.b.c
'
),并将这个Filter添加到了一个Handler上，则使用该Handler的Logger中只有名字带 a.b.c前缀的Logger才能输出其日志。
filter
= logging.Filter(
'
mylogger
'
)
logger.addFilter(filter)
这是只对logger这个对象进行筛选
如果想对所有的对象进行筛选，则：
filter
= logging.Filter(
'
mylogger
'
)
fh.addFilter(filter)
ch.addFilter(filter)
这样，所有添加fh或者ch的logger对象都会进行筛选。
import
logging
logger
=
logging.getLogger()
#
创建一个handler，用于写入日志文件
fh = logging.FileHandler(
'
test.log
'
)
#
再创建一个handler，用于输出到控制台
ch =
logging.StreamHandler()
formatter
= logging.Formatter(
'
%(asctime)s - %(name)s - %(levelname)s - %(message)s
'
)
fh.setFormatter(formatter)
ch.setFormatter(formatter)
#
定义一个filter
filter = logging.Filter(
'
mylogger
'
)
fh.addFilter(filter)
ch.addFilter(filter)
#
logger.addFilter(filter)
logger.addHandler(fh)
logger.addHandler(ch)
logger.setLevel(logging.DEBUG)
logger.debug(
'
logger debug message
'
)
logger.info(
'
logger info message
'
)
logger.warning(
'
logger warning message
'
)
logger.error(
'
logger error message
'
)
logger.critical(
'
logger critical message
'
)
#
#################################################
logger1 = logging.getLogger(
'
mylogger
'
)
logger1.setLevel(logging.DEBUG)
logger2
= logging.getLogger(
'
mylogger
'
)
logger2.setLevel(logging.INFO)
logger1.addHandler(fh)
logger1.addHandler(ch)
logger2.addHandler(fh)
logger2.addHandler(ch)
logger1.debug(
'
logger1 debug message
'
)
logger1.info(
'
logger1 info message
'
)
logger1.warning(
'
logger1 warning message
'
)
logger1.error(
'
logger1 error message
'
)
logger1.critical(
'
logger1 critical message
'
)
logger2.debug(
'
logger2 debug message
'
)
logger2.info(
'
logger2 info message
'
)
logger2.warning(
'
logger2 warning message
'
)
logger2.error(
'
logger2 error message
'
)
logger2.critical(
'
logger2 critical message
'
)
#
coding:utf-8
import
logging
#
创建一个logger
logger =
logging.getLogger()
logger1
= logging.getLogger(
'
mylogger
'
)
logger1.setLevel(logging.DEBUG)
logger2
= logging.getLogger(
'
mylogger
'
)
logger2.setLevel(logging.INFO)
logger3
= logging.getLogger(
'
mylogger.child1
'
)
logger3.setLevel(logging.WARNING)
logger4
= logging.getLogger(
'
mylogger.child1.child2
'
)
logger4.setLevel(logging.DEBUG)
logger5
= logging.getLogger(
'
mylogger.child1.child2.child3
'
)
logger5.setLevel(logging.DEBUG)
#
创建一个handler，用于写入日志文件
fh = logging.FileHandler(
'
/tmp/test.log
'
)
#
再创建一个handler，用于输出到控制台
ch =
logging.StreamHandler()
#
定义handler的输出格式formatter
formatter = logging.Formatter(
'
%(asctime)s - %(name)s - %(levelname)s - %(message)s
'
)
fh.setFormatter(formatter)
ch.setFormatter(formatter)
#
定义一个filter
#
filter = logging.Filter('mylogger.child1.child2')
#
fh.addFilter(filter)
#
给logger添加handler
#
logger.addFilter(filter)
logger.addHandler(fh)
logger.addHandler(ch)
#
logger1.addFilter(filter)
logger1.addHandler(fh)
logger1.addHandler(ch)
logger2.addHandler(fh)
logger2.addHandler(ch)
#
logger3.addFilter(filter)
logger3.addHandler(fh)
logger3.addHandler(ch)
#
logger4.addFilter(filter)
logger4.addHandler(fh)
logger4.addHandler(ch)
logger5.addHandler(fh)
logger5.addHandler(ch)
#
记录一条日志
logger.debug(
'
logger debug message
'
)
logger.info(
'
logger info message
'
)
logger.warning(
'
logger warning message
'
)
logger.error(
'
logger error message
'
)
logger.critical(
'
logger critical message
'
)
logger1.debug(
'
logger1 debug message
'
)
logger1.info(
'
logger1 info message
'
)
logger1.warning(
'
logger1 warning message
'
)
logger1.error(
'
logger1 error message
'
)
logger1.critical(
'
logger1 critical message
'
)
logger2.debug(
'
logger2 debug message
'
)
logger2.info(
'
logger2 info message
'
)
logger2.warning(
'
logger2 warning message
'
)
logger2.error(
'
logger2 error message
'
)
logger2.critical(
'
logger2 critical message
'
)
logger3.debug(
'
logger3 debug message
'
)
logger3.info(
'
logger3 info message
'
)
logger3.warning(
'
logger3 warning message
'
)
logger3.error(
'
logger3 error message
'
)
logger3.critical(
'
logger3 critical message
'
)
logger4.debug(
'
logger4 debug message
'
)
logger4.info(
'
logger4 info message
'
)
logger4.warning(
'
logger4 warning message
'
)
logger4.error(
'
logger4 error message
'
)
logger4.critical(
'
logger4 critical message
'
)
logger5.debug(
'
logger5 debug message
'
)
logger5.info(
'
logger5 info message
'
)
logger5.warning(
'
logger5 warning message
'
)
logger5.error(
'
logger5 error message
'
)
logger5.critical(
'
logger5 critical message
'
)
import
os
import
time
import
logging
from
config
import
settings
def
get_logger(card_num, struct_time):
if
struct_time.tm_mday < 23
:
file_name
=
"
%s_%s_%d
"
%(struct_time.tm_year, struct_time.tm_mon, 22
)
else
:
file_name
=
"
%s_%s_%d
"
%(struct_time.tm_year, struct_time.tm_mon+1, 22
)
file_handler
=
logging.FileHandler(
os.path.join(settings.USER_DIR_FOLDER, card_num,
'
record
'
, file_name),
encoding
=
'
utf-8
'
)
fmt
= logging.Formatter(fmt=
"
%(asctime)s : %(message)s
"
)
file_handler.setFormatter(fmt)
logger1
= logging.Logger(
'
user_logger
'
, level=
logging.INFO)
logger1.addHandler(file_handler)
return
logger1
