一、什么是迭代器
迭代器协议:对象必须提供一个next方法,执行该方法要么返回迭代中的下一项,要么就引起一个StopIteration异常,以终止迭代(只能往后走不能往前退)
可迭代对象:实现了迭代器协议的对象(如何实现:对象内部定义一个__iter__()方法)
协议是一种约定,可迭代对象实现了迭代器协议,python的内部工具(如:for循环,sum,min,max函数等)使用迭代器协议访问对象
可迭代对象
可以使用isinstance()函数来判断一个对象是否是可迭代对象(Iterable):
In [50]: from collections import Iterable In [51]: isinstance([], Iterable) Out[51]: True In [52]: isinstance({}, Iterable) Out[52]: True In [53]: isinstance('abc', Iterable) Out[53]: True In [54]: isinstance(mylist, Iterable) Out[54]: False In [55]: isinstance(100, Iterable) Out[55]: False
可迭代对象的本质
我们分析对可迭代对象进行迭代使用的过程,发现每迭代一次(即在for...in...中每循环一次)都会返回对象中的下一条数据,一直向后读取数据直到迭代了所有数据后结束。那么,在这个过程中就应该有一个“人”去记录每次访问到了第几条数据,以便每次迭代都可以返回下一条数据。我们把这个能帮助我们进行数据迭代的“人”称为迭代器(Iterator)。
可迭代对象的本质就是可以向我们提供一个这样的中间“人”即迭代器帮助我们对其进行迭代遍历使用。
可迭代对象通过__iter__方法向我们提供一个迭代器,我们在迭代一个可迭代对象的时候,实际上就是先获取该对象提供的一个迭代器,然后通过这个迭代器来依次获取对象中的每一个数据.
那么也就是说,一个具备了__iter__方法的对象,就是一个可迭代对象
from collections import Iterable class MyList(object): def __init__(self): self.container = [] def add(self, item): self.container.append(item) def __iter__(self): pass my_list = MyList() flag = isinstance(my_list, Iterable) print(flag) """ 运行结果:True 说明MyList创建的对象是一个可迭代对象这回测试发现添加了__iter__方法的mylist对象已经是一个可迭代对象了 """
iter()函数与next()函数
list、tuple等都是可迭代对象,我们可以通过iter()函数获取这些可迭代对象的迭代器。然后我们可以对获取到的迭代器不断使用next()函数来获取下一条数据。iter()函数实际上就是调用了可迭代对象的__iter__方法。
>>> li = [11, 22, 33, 44, 55] >>> li_iter = iter(li) >>> next(li_iter) 11 >>> next(li_iter) 22 >>> next(li_iter) 33 >>> next(li_iter) 44 >>> next(li_iter) 55 >>> next(li_iter) Traceback (most recent call last): File "<stdin>", line 1, in <module> StopIteration >>> 注意,当我们已经迭代完最后一个数据之后,再次调用next()函数会抛出StopIteration的异常,来告诉我们所有数据都已迭代完成,不用再执行next()函数了。
如何判断一个对象是否是迭代器
可以使用 isinstance() 判断一个对象是否是 Iterator 对象:
In [56]: from collections import Iterator In [57]: isinstance([], Iterator) Out[57]: False In [58]: isinstance(iter([]), Iterator) Out[58]: True In [59]: isinstance(iter("abc"), Iterator) Out[59]: True
迭代器Iterator
通过上面的分析,我们已经知道,迭代器是用来帮助我们记录每次迭代访问到的位置,当我们对迭代器使用next()函数的时候,迭代器会向我们返回它所记录位置的下一个位置的数据。实际上,在使用next()函数的时候,调用的就是迭代器对象的__next__方法(Python3中是对象的__next__方法,Python2中是对象的next()方法)。所以,我们要想构造一个迭代器,就要实现它的__next__方法。但这还不够,python要求迭代器本身也是可迭代的,所以我们还要为迭代器实现__iter__方法,而__iter__方法要返回一个迭代器,迭代器自身正是一个迭代器,所以迭代器的__iter__方法返回自身即可。
一个实现了__iter__方法和__next__方法的对象,就是迭代器。
class MyList(object): """ 自定义的一个可迭代对象 """ def __init__(self): self.items = [] def add(self, val): self.items.append(val) def __iter__(self): myiterator = MyIterator(self) return myiterator class MyIterator(object): """ 自定义的供上面可迭代对象使用的一个迭代器 """ def __init__(self, mylist): self.mylist = mylist # current用来记录当前访问到的位置 self.current = 0 def __next__(self): if self.current < len(self.mylist.items): item = self.mylist.items[self.current] self.current += 1 return item else: raise StopIteration def __iter__(self): return self if __name__ == '__main__': mylist = MyList() mylist.add(1) mylist.add(2) mylist.add(3) mylist.add(4) mylist.add(5) for num in mylist: print(num)
for...in...循环的本质
for item in Iterable 循环的本质就是先通过iter()函数获取可迭代对象Iterable的迭代器,然后对获取到的迭代器不断调用next()方法来获取下一个值并将其赋值给item,当遇到StopIteration的异常后循环结束。
迭代器的应用场景
class FibIterator(object): """ 斐波那契数列 """ def __init__(self, n): """ :param n:int, 指明生成数列的前n个数 """ self.n = n # current用来保存当前生成到数列中的第几个数了 self.current = 0 # num1用来保存前前一个数,初始值为数列中的第一个数0 self.num1 = 0 # num2用来保存前一个数,初始值为数列中的第二个数1 self.num2 = 1 def __next__(self): """ 被next()函数调用来获取下一个数 :return: """ if self.current < self.n: num = self.num1 self.num1, self.num2 = self.num2, self.num1+self.num2 self.current += 1 return num else: raise StopIteration def __iter__(self): """ "迭代器的__iter__返回自身即可 :return: """ return self if __name__ == '__main__': fib = FibIterator(10) for num in fib: print(num, end=" ")
斐波那契数列
三、生成器
可以理解为一种数据类型,这种数据类型自动实现了迭代器协议,所以生成器就是可迭代对象
生成器的创建方式:
- 生成器函数:常规函数定义,但是使用yield语句而不是return语句返回结果;yield语句一次返回一个结果,在每个结果中间,挂起函数的状态,以便下次从它离开的地方继续执行
- 生成器表达式:类似于列表推导,但是生成器返回按需产生结果的一个对象,而不是一次构建一个结果列表
生成器函数
def fun(): print("hhloo") yield 1 print("44444") yield 2 print('dddddd') yield 3 g = fun() # 生成器对象 print(g) # 结果:<generator object fun at 0x00000000010373B8> # 进行一次打印 print(g.__next__()) # 第一次next时调用函数到yield 1处函数返回,结果为hhloo,1 print(g.__next__()) # 第二次会从上一次离开的地方继续往下执行,结果:44444,2 print(g.__next__()) # 第三次执行 结果为:dddddd,3 print(g.__next__()) # 会抛StopIteration异常
生成器表达式
ccc = ('鸡蛋%s' % i for i in range(10)) print(ccc) # <generator object <genexpr> at 0x0000000000A273B8> print(ccc.__next__())
注:
生成器表达式比生成器函数更加的节省内存
生成器注意项
- 生成器在产生的过程中不做任何操作
- 生成器只能遍历一次
def fun1(): for i in range(4): yield i t = fun1() t1 = (i for i in t) t2 = (i for i in t1) print(list(t1)) # [0, 1, 2, 3] print(list(t2)) # []
生成器的优点
- 生成器的好处就是延迟计算,一次返回一个结果,它不会一次生成所有的结果。对于大数据处理,将会非常有用
- 生成器还能有效的提供代码的可读性,使用生成器会使python代码更加的pythonic