从零开始学Python-Day26-映射与规约map/reduce

简单讲，”Map（映射）”和”Reduce（归约）”是一种编程模型，用于大规模数据集（大于1TB）的并行运算。Python内建了map()和reduce()函数。

map-映射

map函数接收两个参数，一个是函数，一个是可迭代对象Iterable，map把Iterable中的对象，依次作为参数给到函数，并返回结果生成新的Iterable。即map()函数可以实现如下效果：

             f(x) = x * x
                  │
                  │
  ┌───┬───┬───┬───┼───┬───┬───┬───┐
  │   │   │   │   │   │   │   │   │
  ▼   ▼   ▼   ▼   ▼   ▼   ▼   ▼   ▼
[ 1   2   3   4   5   6   7   8   9 ]
  │   │   │   │   │   │   │   │   │
  │   │   │   │   │   │   │   │   │
  ▼   ▼   ▼   ▼   ▼   ▼   ▼   ▼   ▼
[ 1   4   9  16  25  36  49  64  81 ]

实际操作一下：

>>> def f(x):
	return x * x

>>> r = map(f,[1,2,3,4,5,6,7,8,9])
>>> list(r)
[1, 4, 9, 16, 25, 36, 49, 64, 81]

map()作为高阶函数，是把运算规则抽象化了，不单可以计算简单的f(x)=x²，还可以计算复杂函数，如将list数值转换为字符串：

>>> list(map(str,[1,2,3,4,5,6,7,8,9]))
['1', '2', '3', '4', '5', '6', '7', '8', '9']

reduce-规约

reduce就是把一个函数作用于一个序列，这个函数接收2个参数，reduce把序列中头两个数值接收运算后，再将结果与下一个数值传给函数计算结果，依次累积计算：

reduce(f, [x1, x2, x3, x4]) = f(f(f(x1, x2), x3), x4)

例如对一个序列求和，用reduce实现：

>>> from functools import reduce
>>> def add(x,y):
	return x + y

>>> reduce(add,[1,2,3,4,5])
15

当然了求和我们有sum函数，如果是把序列[1,2,3,4,5]变成整数12345呢？

>>> from functools import reduce
>>> def fn(x,y):
	return x * 10 + y

>>> reduce(fn,[1,2,3,4,5])
12345

结合上面的例子，加上map()，可以编写出把str转换为int的函数：

>>> def fn(x,y):
	return x * 10 + y

>>> def char2num(s):
	digits = {'0': 0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, '9': 9}
	return digits[s]

>>> reduce(fn,map(char2num,'12345'))
12345

优化整理，得到一个str2int函数：

>>> from functools import reduce
>>> digits = {'0': 0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, '9': 9}
>>> def str2int(s):
	def fn(x,y):
		return x * 10 + y
	def char2num(s):
		return digits[s]
	return reduce(fn,map(char2num,s))

>>> str2int('12345')
12345