如何实时流式传输大语言模型(LLM)的响应

2024-10-16 16:40:09

引言

随着大语言模型（LLM）的广泛应用，如何高效地从这些模型获取实时响应成为许多开发者关心的问题。本文将探讨如何利用流式传输机制，从LLM获取实时响应，并举例说明同步和异步的实现方法。

主要内容

可运行接口

所有LLM实现了Runnable接口，该接口提供了标准的可运行方法默认实现，比如invoke、batch、astream等。为了实现流式传输，这些方法返回一个Iterator或者AsyncIterator，以获取模型最终输出。

流式传输支持

大部分LLM提供商的默认流实现只输出最终结果。是否可以逐个令牌流式传输，取决于提供商是否支持。开发者可以在这里查看哪些集成支持逐个令牌的流式传输。

注意: 默认实现不支持逐个令牌流式传输，但可以无缝替换为支持相同标准接口的其他模型。

同步流式传输

下面的代码展示如何使用|符号来可视化每个令牌之间的分隔符：

from langchain_openai import OpenAI

llm = OpenAI(model="gpt-3.5-turbo-instruct", temperature=0, max_tokens=512)
for chunk in llm.stream("Write me a 1 verse song about sparkling water."):
    print(chunk, end="|", flush=True)

输出示例:

|Spark|ling| water|,| oh| so clear|
|Bubbles dancing|,| without| fear|
|Refreshing| taste|,| a| pure| delight|
|Spark|ling| water|,| my| thirst|'s| delight||

异步流式传输

通过astream方法可以实现异步流式传输：

from langchain_openai import OpenAI

llm = OpenAI(model="gpt-3.5-turbo-instruct", temperature=0, max_tokens=512)
async for chunk in llm.astream("Write me a 1 verse song about sparkling water."):
    print(chunk, end="|", flush=True)

异步事件流式传输

astream_events方法适用于复杂应用场景：

from langchain_openai import OpenAI

llm = OpenAI(model="gpt-3.5-turbo-instruct", temperature=0, max_tokens=512)

idx = 0

async for event in llm.astream_events(
    "Write me a 1 verse song about goldfish on the moon", version="v1"
):
    idx += 1
    if idx >= 5:  # Truncate the output
        print("...Truncated")
        break
    print(event)