Python中使用asyncio 封装文件读写

来源:本网整理

根据Python增强提案(PEP)第0492号,Python 3.5将通过async和await语法增加对协程的支持。该提案目的是使协程成为Python语言的原生特性,并“建立一种普遍、易用的异步编程思维模型。这个新提议中声明一个协程的语法如下:async def read_data(db):passasync是明确将函数声明为协程的关键字,即便没有使用await表达式。这样的函数执行时会返回一个协程对象。在协程函数内部,可在某个表达式之前使用await关键字来暂停协程的执行,以等待某进程完成:async def read_data(db):data=await db.fetch('SELECT.')由于增强版生成器的存在,Python中其实早已有了协程的形式,例如当yield或yield from声明在Python生成器内部出现,该生成器就会被当作协程。以下示例展示基于生成器的协程的用法:def createGenerator():mylist=range(3)for i in mylist:yield i*imygenerator=createGenerator()for i in mygenerator:print(i)014以上代码中,每当生成器在for循环中被调用,该生成器中的for循环就会返回一个新的值。关于await用法的更多示例请参见上文提到的PEP#0492.这个关于协程的新提案想明确地把生成器与协程区分开,这么做有如下好处:使这两个概念对新开发者来说更易于理解,因为它们二者的语法并不一样;能消除由于重构时不小心移除了协程中的yield声明而导致的“不明确错误”,这会导致协程变成普通的生成器。async/await语法能让程序员以序列方式编写代码,但编译器则会将其当作一系列的协程来处理,从而实现有效的并发。回到我们之前的例子,async/await使我们可以顺序地编写多个await声明语句,就好像每个语句都会阻塞并等待结果,但实际上这并不会导致任何阻塞:async def read_data(db):data=await db.fetch('SELECT.')if(data.)await api.send(data.')www.zgxue.com防采集请勿采集本网。

s">

Python中使用asyncio 封装文件读写

作者:liyiyang 字体:[增加 减小] 类型:转载 时间:2016-09-11 我要评论 本文主要给大家简单讲解如何用 asyncio.Future 对象来封装文件的异步读写。有需要的小伙伴可以参考下 ">

前言

和网络 IO 一样,文件读写同样是一个费事的操作。

然而并不会有更多的人因此换到Python 3。他们会说,不就是一点语法糖么,兼容性都保证不了其他再多功能又有什么用。

默认情况下,Python 使用的是系统的阻塞读写。这意味着在 asyncio 中如果调用了

换汤不换药,但专有关键字也许(不过这个似乎也是官方推广 Python 3 过程中一贯不负责任的作风,现有的利用 six 库兼容 2.7+3.2+的攻略也是民间总结出来的,官方此前推荐是那个完全没有可用性的 lib2to3)

Node.js>Python 的地方 快:这个快有两方面,第一是V8引擎快,在V8引擎背后操刀的是Lars Bak大神,他创造过高性能SmallTalk引擎和Java Hotspot引擎(现在Java的默认VM),他带领下的V8引擎让Javascript速度

f = file('xx')f.read()

然而并不会有更多的人因此换到Python 3。他们会说,不就是一点语法糖么,兼容性都保证不了其他再多功能又有什么用。如何看待 Python 3.5支持Async/Await异步编程

会阻塞事件循环。

看待.等同支持了协程.能更好的发挥执行效率.多了一套并行解决方案.

本篇简述如何用 asyncio.Future 对象来封装文件的异步读写。

代码在 GitHub。目前仅支持 Linux。

阻塞和非阻塞

首先需要将文件的读写改为非阻塞的形式。在非阻塞情况下,每次调用 read 都会立即返回,如果返回值为空,则意味着文件操作还未完成,反之则是读取的文件内容。

阻塞和非阻塞的切换与操作系统有关,所以本篇暂时只写了 Linux 版本。如果有过 Unix 系统编程经验,会发现 Python 的操作是类似的。

Node.js>Python 的地方 快:这个快有两方面,第一是V8引擎快,在V8引擎背后操刀的是Lars Bak大神,他创造过高性能SmallTalk引擎和Java Hotspot引擎(现在Java的默认VM),他带领下的V8引擎让Javascript速度

flag = fcntl.fcntl(self.fd, fcntl.F_GETFL) if fcntl.fcntl(self.fd, fcntl.F_SETFL, flag | os.O_NONBLOCK) != 0: raise OSError()

Future 对象

Future 对象类似 Javascript 中的 Promise 对象。它是一个占位符,其值会在将来被计算出来。我们可以使用

result = await future

在 future 得到值之后返回。而使用

future.set_result(xxx)

就可以设置 future 的值,也意味着 future 可以被返回了。await 操作符会自动调用 future.result() 来得到值。

loop.call_soon

通过 loop.call_soon 方法可以将一个函数插入到事件循环中。

至此,我们的异步文件读写思路也就出来了。通过 loop.call_soon 调用非阻塞读写文件的函数。若一次文件读写没有完成,则计算剩余所学读写的字节数,并再次插入事件循环直至读写完毕。

可以发现其就是把传统 Unix 编程里,非阻塞文件读写的 while 循环换成了 asyncio 的事件循环。

下面是这一过程的示意代码。

def read_step(self, future, n, total): res = self.fd.read(n) if res is None: self.loop.call_soon(self.read_step, future, n, total) return if not res: # EOF future.set_result(bytes(self.rbuffer)) return self.rbuffer.extend(res) self.loop.call_soon(self.read_step, future, self.BLOCK_SIZE, total)def read(self, n=-1): future = asyncio.Future(loop=self.loop) self.rbuffer.clear() self.loop.call_soon(self.read_step, future, min(self.BLOCK_SIZE, n), n) return future

你使用的是Python3,而async是Python3中加入的关键字,关键字是不可以作为变量名的。所以抛出了一个语法错误(SyntaxError)。这种情况常见做法是加一个下划线,如:async_=False这样它就是一个普通的变量名而不是关键字了。或者给这个变量换个名字。PS:实际上加下划线也就是换名字内容来自www.zgxue.com请勿采集。

免责声明 - 关于我们 - 联系我们 - 广告联系 - 友情链接 - 帮助中心 - 频道导航
Copyright © 2017 www.zgxue.com All Rights Reserved