Python函数式编程:从入门到走火入魔

系统 1315 0

附Java/C/C++/机器学习/算法与数据结构/前端/安卓/Python/程序员必读书籍书单大全:

书单导航页(点击 右侧 极客侠栈 即可打开个人博客): 极客侠栈
①【Java】学习之路吐血整理技术书从入门到进阶最全50+本(珍藏版)
②【算法数据结构+acm】从入门到进阶吐血整理书单50+本(珍藏版)
③【数据库】从入门到进阶必读18本技术书籍网盘吐血整理网盘(珍藏版)
④【Web前端】从HTML到JS到AJAX到HTTP从框架到全栈帮你走更少弯路(珍藏版)   
⑤【python】书最全已整理好(从入门到进阶)(珍藏版)

⑥【机器学习】+python整理技术书(从入门到进阶已经整理好)(珍藏版)
⑦【C语言】推荐书籍从入门到进阶带你走上大牛之路(珍藏版)
⑧【安卓】入门到进阶推荐书籍整理pdf书单整理(珍藏版)

⑨【架构师】之路史诗级必读书单吐血整理四个维度系列80+本书(珍藏版)

⑩【C++】吐血整理推荐书单从入门到进阶成神之路100+本(珍藏)

【ios】IOS书单从入门到进阶吐血整理(珍藏版)

-------------------------------------------------------------------------------------------------------------------------------------------

函数式编程源自于数学理论,它似乎也更适用于数学计算相关的场景,因此本文以一个简单的数据处理问题为例,逐步介绍 Python 函数式编程从入门到走火入魔的过程。

很多人都在谈论函数式编程(Functional Programming),只是很多人站在不同的角度看到的是完全不一样的风景。坚持实用主义的 Python 老司机们对待 FP 的态度应该更加包容,虽然他们不相信银弹,但冥冥中似乎能感觉到 FP 暗合了 Python 教义(The Zen of Python)的某些思想,而且既然 Python 是一门多范式编程语言,并在很大程度上支持函数式编程,那就更没有理由拒绝它。

函数式编程源自于数学理论,它似乎也更适用于数学计算相关的场景,因此本文以一个简单的数据处理问题为例,逐步介绍 Python 函数式编程从入门到走火入魔的过程。

问题 :计算 N 位同学在某份试卷的 M 道选择题上的得分(每道题目的分值不同)。

首先来生成一组用于计算的伪造数据:

            # @file: data.py
import random
from collections import namedtuple

Student = namedtuple('Student', ['id', 'ans'])

N_Questions = 25
N_Students = 20

def gen_random_list(opts, n):
    return [random.choice(opts) for i in range(n)]

# 问题答案 'ABCD' 随机
ANS   = gen_random_list('ABCD', N_Questions)
# 题目分值 1~5 分
SCORE = gen_random_list(range(1,6), N_Questions)

QUIZE = zip(ANS, SCORE)
students = [
    # 学生答案为 'ABCD*' 随机,'*' 代表未作答
    Student(_id, gen_random_list('ABCD*', N_Questions))
    for _id in range(1, N_Students+1)
]

print(QUIZE)
# [('A', 3), ('B', 1), ('D', 1), ...
print(students)
# [Student(id=1, ans=['C', 'B', 'A', ...
          

入门

首先来看常规的面向过程编程风格,我们需要遍历每个学生,然后遍历每个学生对每道题目的答案并与真实答案进行比较,然后将正确答案的分数累计:

            import data
def normal(students, quize):
    for student in students:
        sid = student.id
        score = 0
        for i in range(len(quize)):
            if quize[i][0] == student.ans[i]:
                score += quize[i][1]
        print(sid, '\t', score)

print('ID\tScore\n==================')
normal(data.students, data.quize)
"""
ID  Score
==================
1    5
2    12
...
"""
          

如果你觉得上面的代码非常直观且合乎逻辑,那说明你已经习惯按照计算机的思维模式进行思考了。通过创建嵌套两个  for  循环来 遍历 所有题目答案的判断和评分,这完全是为计算机服务的思路,虽然说 Python 中的  for  循环已经比  C  语言更进了一步,通常不需要额外的状态变量来记录当前循环的次数,但有时候也不得不使用状态变量,如上例中第二个循环中比较两个列表的元素。函数式编程的一大特点就是尽量抛弃这种明显 循环遍历 的做法,而是把注意集中在解决问题本身,一如在现实中我们批改试卷时,只需要将两组答案 并列 进行比较即可:

            from data import students, QUIZE

student = students[0]

# 将学生答案与正确答案合并到一起
# 然后过滤出答案一致的题目
filtered = filter(lambda x: x[0] == x[1][0], zip(student.ans, QUIZE))

print(list(filtered))
# [('A', ('A', 3)), ('D', ('D', 1)), ...]
          

然后再将所有正确题目的分数累加起来,即可:

            from functools import reduce

reduced = reduce(lambda x, y: x + y[1][1], filtered, 0)
print(reduced)
          

以上是对一位学生的结果处理,接下来只需要对所有学生进行同样的处理即可:

            def cal(student):
    filtered = filter(lambda x: x[0] == x[1][0], zip(student.ans, QUIZE))
    reduced = reduce(lambda x, y: x + y[1][1], filtered, 0)
    print(student.id, '\t', reduced)

print('ID\tScore\n==================')
# 由于 Python 3 中 map 方法只是组合而不直接执行
# 需要转换成 list 才能将 cal 方法的的结果打印出来
list(map(cal, students))

"""
ID  Score
==================
1    5
2    12
...
"""
          

上面的示例通过  zip/filter/reduce/map  等函数将数据处理的方法 打包 应用到数据上,实现了基本的函数式编程操作。但是如果你对函数式有更深入的了解,你就会发现上面的  cal  方法中使用了全局变量  QUIZE ,这会导致在相同输入的条件下,函数可能产生不同的输出,这是 FP 的大忌,因此需要进行整改:

            def cal(quize):
    def inner(student):
        filtered = filter(lambda x: x[0] == x[1][0], zip(student.ans, quize))
        reduced = reduce(lambda x, y: x + y[1][1], filtered, 0)
        print(student.id, '\t', reduced)
    return inner
map(cal(QUIZE), students)
          

如此借助闭包(Closure)的方法,就可以维持纯净的 FP 模式啦!

走火(fn.py)

也许看了上面的 FP 写法,你还是觉得挺啰嗦的,并没有达到你想象中的结果,这时候就需要呈上一款语法糖利器:fn.py! fn.py  封装了一些常用的 FP 函数及语法糖,可以大大简化你的代码!

            pip install fn
          

首先从刚刚的闭包开始,我们可以用更加 FP 的方法来解决这一问题,称为柯里化,简单来说就是 允许接受多个参数的函数可以分次执行,每次只接受一个参数

            from fn.func import curried
@curried
def sum5(a, b, c, d, e):
    return a + b + c + d + e

sum3 = sum5(1,2)
sum4 = sum3(3,4)
print(sum4(5))
# 15
          

应用到上面的  cal  方法中:

            from fn.func import curried

@curried
def cal(quize, student):
    filtered = filter(lambda x: x[0] == x[1][0], zip(student.ans, quize))
    reduced = reduce(lambda x, y: x + y[1][1], filtered, 0)
    print(student.id, '\t', reduced)

map(cal(QUIZE), students)
          

在 FP 中数据通常被看作是一段数据流在一串函数的管道中传递,因此上面的 reduce filter 其实可以合并:

            reduce(lambda x, y: x + y[1][1], filter(lambda x: x[0] == x[1][0], zip(student.ans, quize)), 0)
          

虽然更简略了,但是这样会大大降低代码的可读性(这也是 FP 容易遭受批评的一点),为此  fn  提供了更高级的函数操作工具:

            from fn import F

cal = F() >> (filter, lambda x: x[0]==x[1][0]) >> (lambda r: reduce(_+_[1][1], r, 0))
# 计算一名学生的成绩
print(cal(zip(student.ans, QUIZE)))

# 然后组合一下
@curried
def output(quize, student):
    cal = F() >> (filter, lambda x: x[0]==x[1][0]) >> (lambda r: reduce(_+_[1][1], r, 0))
    print(student.id, '\t', cal(zip(student.ans, quize)))
map(output(QUIZE), students)
          

入魔(Hy)

如果你觉得上面的代码已经足够魔性到看起来不像是 Python 语言了,然而一旦接受了这样的语法设定感觉也还挺不错的。如果你兴冲冲地拿去给 Lisp 或 Haskell 程序员看,则一定会被无情地鄙视,于是你痛定思痛下定决心继续挖掘 Python 函数式编程的奥妙,那么恭喜你,组织欢迎你的加入: Hail Hydra

哦不对,说漏了,是 Hi Hy

Hy 是基于 Python 的 Lisp 方言,可以与 Python 代码进行完美互嵌(如果你更偏好 PyPy,同样也有类似的Pixie),除此之外你也可以把它当做一门独立的语言来看待,它有自己的解释器,可以当做独立的脚本语言来使用:

            pip install git+https://github.com/hylang/hy.git
          

首先来看一下它的基本用法,和 Python 一样,安装完之后可以通过  hy  命令进入 REPL 环境:

            => (print "Hy!")
Hy!
=> (defn salutationsnm [name] (print (+ "Hy " name "!")))
=> (salutationsnm "YourName")
Hy YourName!
          

或者当做命令行脚本运行:

            #! /usr/bin/env hy
(print "I was going to code in Python syntax, but then I got Hy.")
          

保存为  awesome.hy

            chmod +x awesome.hy
./awesome.hy
          

接下来继续以上面的问题为例,首先可以直接从 Python 代码中导入:

            (import data)

;; 用于 Debug 的自定义宏
;; 将可迭代对象转化成列表后打印
(defmacro printlst [it]
    `(print (list ~it)))

(setv students data.students)
(setv quize data.QUIZE)

(defn cal [quize]
  (fn [student]
    (print student.id
      (reduce
        (fn [x y] (+ x (last (last y))))
        (filter
          (fn [x] (= (first x) (first (last x))))
          (zip student.ans quize))
        0
      )
    )
  )
)

(printl (map (cal quize) students))
          

如果觉得不放心,还可以直接调用最开始定义的方法将结果进行比较:

            ;; 假设最上面的 normal 方法保存在 fun.py 文件中
(import fun)
(.normal fun students quize)
          

总结

以一个简单的数据处理问题为例,我们经历了 Python 函数式编程从开始尝试到“走火入魔”的整个过程。也许你还是觉得不够过瘾,想要尝试更 纯粹 的 FP 体验,那么 Haskell 将是你最好的选择。FP 将数据看做数据流在不同函数间传递,省去不必要的中间变量,保证函数的纯粹性…等等这些思想在数据处理过程中还是非常有帮助的(Python 在这一领域的竞争对手 R 语言本身在语法设计上就更多地受到 Lisp 语言的影响,虽然看起来语法也比较奇怪,但这也是它比较适合用于数据处理及统计分析的原因之一)。

参考

  1. Tips » 0x02-函数式编程
  2. Python HOWTOs » Functional Programming HOWTO
  3. Hy's Doc
  4. fn.py

更多文章、技术交流、商务合作、联系博主

微信扫码或搜索:z360901061

微信扫一扫加我为好友

QQ号联系: 360901061

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描下面二维码支持博主2元、5元、10元、20元等您想捐的金额吧,狠狠点击下面给点支持吧,站长非常感激您!手机微信长按不能支付解决办法:请将微信支付二维码保存到相册,切换到微信,然后点击微信右上角扫一扫功能,选择支付二维码完成支付。

【本文对您有帮助就好】

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描上面二维码支持博主2元、5元、10元、自定义金额等您想捐的金额吧,站长会非常 感谢您的哦!!!

发表我的评论
最新评论 总共0条评论