Python笔记003-生成器和生成器表达式
以下是我学习《流畅的Python》后的个人笔记，现在拿出来和大家共享，希望能帮到各位Python学习者。
首次发表于: 微信公众号：科技老丁哥，ID: TechDing，敬请关注。
本篇主要知识点：
-
生成器使用yield做关键字，一次只返回一个值给调用者，然后暂停执行，其作用是：节省内存空间。
-
生成器可以用next()函数，也可以用for迭代的方式获取元素值，中间还可以用close()来随时终止生成器。
-
生成器表达式可以认为是一种特殊的生成器，其代码更简洁，更容易理解，且和别的函数结合会更加灵活。
1. 生成器
生成器是Python中一个特殊的程序，用于控制循环的迭代行为。相对于一般函数用return来一次性返回所有值，生成器使用yield关键字，一次只返回一个值。
这样的设计有很大的好处：在数据处理时，如果函数return出来的是一个非常大的数组，那么会非常占用内存，有时会报MemoryError的错误，而使用yield后一次仅仅返回一个元素值，可以优化内存占用的情况。
从这种角度来讲，生成器函数每一次调用都返回一个元素值，这种特性使得生成器长得像函数，但行为却像迭代器。
def
squares
(
x
)
:
# 计算0-x的所有数的平方
# return [i*i for i in range(x)] # 普通写法，一次返回一个list，包含所有元素
for
i
in
range
(
x
)
:
yield
i
*
i
# 生成器：一次只返回一个值
print
(
squares
(
5
)
)
#
生成器并不像一般的函数，它返回一个值后，生成器函数会自动挂起，等到下一次调用时（使用其内部成员方法
__next__
来实现），再返回到这个函数中继续执行。
所以要想获取生成器的元素值，需要通过成员方法next()来进行，比如：
square_five
=
squares
(
5
)
print
(
next
(
square_five
)
)
# 0
print
(
next
(
square_five
)
)
# 1
print
(
next
(
square_five
)
)
# 4
print
(
next
(
square_five
)
)
# 9
print
(
next
(
square_five
)
)
# 16
print
(
next
(
square_five
)
)
# 报错：StopIteration: 超过yield的所有元素
next()函数每次执行时，都会继续执行挂起的生成器函数，直到执行完毕。
生成器的这种特点被称为"延迟计算"或"惰性求值(Lazy evaluation)"，可以有效的节省内存。惰性求值实际上是体现了协同程序的思想。
虽然生成器的这种行为类似于迭代器，但两者有较大差别，迭代器不具备这种执行-暂停-再执行-再暂停的特性，所以迭代器不具有延迟计算，没有协同程序的思想。
使用延迟计算后，可以极大的节省内存，比如对大文件进行读取操作时，可以用下列生成器方法：
## 读取大文件的生成器方法：
def
load_big_file
(
file_path
)
:
BLOCK_SIZE
=
1024
with
open
(
file_path
,
'rb'
)
as
f
:
while
True
:
block
=
f
.
read
(
BLOCK_SIZE
)
if
block
:
yield
block
# 一次只加载一个block到内存中，避免MemoryError
else
:
return
生成器除了用next()函数来处理之外，还可以用close()来随时退出生成器。如下代码：
## 使用close()可以随时退出生成器
square_five
=
squares
(
5
)
print
(
next
(
square_five
)
)
# 0
print
(
next
(
square_five
)
)
# 1
print
(
next
(
square_five
)
)
# 4
square_five
.
close
(
)
# 退出生成器
print
(
next
(
square_five
)
)
# Error: StopIteration:
print
(
next
(
square_five
)
)
# Error: StopIteration:
2. 生成器表达式
从形式上来看，生成器表达式和列表推导式很像，仅仅是将列表推导式中的[]替换为()，但是两者差别挺大，生成器表达式可以说组合了迭代功能和列表解析功能。
生成器表达式可以认为是一种特殊的生成器函数，类似于lambda表达式和普通函数。但是和生成器一样，生成器表达式也是返回生成器generator对象，一次只返回一个值。
# 上面的squares函数可以改写为：
# 列表推导式的写法是：
squares_list
=
[
i
*
i
for
i
in
range
(
5
)
]
# 一次性返回整个list
print
(
'列表推导式：'
,
squares_list
)
# 列表推导式： [0, 1, 4, 9, 16]
# 生成器表达式：
squares2
=
(
i
*
i
for
i
in
range
(
5
)
)
# 生成器表达式一次返回一个值
print
(
'生成器表达式：'
,
squares2
)
# 生成器表达式：
print
(
next
(
squares2
)
)
# 0
print
(
next
(
squares2
)
)
# 1
print
(
next
(
squares2
)
)
# 4
生成器表达式是一种特殊的生成器，所以它也有生成器的特性，可以使用for循环来获取元素值，for循环内部自动调用了next()函数来执行。
# generator对象可以直接用for来获取所有元素值
squares2
=
(
i
*
i
for
i
in
range
(
5
)
)
# 生成器表达式就是一个generator对象
for
i
in
squares2
:
print
(
'i: '
,
i
)
# 上面可以简写为：
[
print
(
'i: '
,
i
)
for
i
in
(
i
*
i
for
i
in
range
(
5
)
)
]
生成器表达式如果作为某个函数的参数，则可以省略掉()，直接使用即可，eg:
## 如果生成器表达式整个作为某个函数的参数，可以省略掉()
max_value
=
max
(
i
*
i
for
i
in
range
(
5
)
)
# 计算生成器的所有元素中的最大值
print
(
max_value
)
# 16
首次发表于: 微信公众号：科技老丁哥，ID: TechDing，敬请关注。
本文所有代码都已经上传到我的github，欢迎下载
参考资料：
- 《流畅的Python》，Luciano Ramalho (作者) 安道 , 吴珂 (译者)。
