For the complete documentation index, see llms.txt. This page is also available as Markdown.

Live APIs(Beta)

通过基于 WebRTC 的 Live APIs 实现与 Convai AI 角色的实时、低延迟交互,支持文本、音频和动态上下文通信。

Convai 的 Live API 通过 WebRTC实现用户与 AI 角色之间的实时动态交互。 这些 API 允许你的应用发送和接收 音频, 文本以及其他上下文数据,使与 AI 角色的对话无缝且响应迅速。

一旦创建了你的角色,Live API 会自动管理对话输入和上下文回复,确保在不同会话中保持自然且一致的行为。

使用 Live API,你可以:

  • 进行实时对话 — 发送用户文本或语音输入,并实时接收有上下文的自然回复。

  • 以文本和/或音频形式获取回复 — 同时支持基于文本的聊天和语音对话体验。

  • 使用实时模型 — 集成低延迟模型(目前支持 Google Realtime;OpenAI 支持即将推出),以实现高速对话性能。

该 Live API 充当你的 AI 角色与用户之间的桥梁,使双方 文本 和 语音 通道之间实现顺畅的双向通信——全部实时进行。


从哪里开始

页面
涵盖内容

Connect API

开启会话以及你可以在其中配置的所有选项

使用多角色会话

创建一个包含多个角色实例的共享房间、轮转路由以及更新成员列表

构建群聊

运行一个受控房间,让多个角色在一次连接中回复同一条消息

群聊消息

该 group-address 命令、其回复和错误代码,以及 turn-complete 事件

机器人回合如何传递、你可以依赖的排序方式,以及字段存在规则

响应契约与解析

语音、动作和情绪如何分离——以及服务器会从口语回复中移除哪些内容

消息术语表

一览所有消息类型

你发送的消息

你接收的消息

自定义音频处理

指标

性能指标与监控

如果你从零开始编写客户端,请先阅读 Turn 生命周期和消息顺序 。它解释了数据通道上的三种封装格式以及排序保证,这两点合起来解决了大多数集成问题。

最后更新于

这有帮助吗?