For the complete documentation index, see llms.txt. This page is also available as Markdown.

发布策略

Vision 发布策略参考,包括 FPS 和码率预算、运行时控制方法、自动发布行为以及 WebGL 特定行为。

ConvaiVisionPublisher 用于管理将摄像头画面从 Unity 传送到 Convai 的 WebRTC 视频轨道。发布策略控制客户端的帧率和比特率预算;它不配置任何 AI 模型或后端视觉提供商。

检查器参考

检查器分为两个可折叠部分: 帧源 和 发布策略.

帧源

字段
类型
默认
说明

来源

MonoBehaviour

(自动发现)

该 IVisionFrameSource 用于发布。留空可从同一 GameObject、子对象或场景中自动发现。当存在多个帧源时请显式指定。

轨道名称

string

"unity-scene"

该 WebRTC 轨道在 LiveKit 房间中显示的名称。仅当后端路由需要特定名称时才更改。

发布策略

字段
类型
默认
说明

模式

VisionPublishPolicy

自动兼容

控制客户端的帧率和比特率预算。请参阅 发布策略 下文。

最大发布 FPS

int (0–30)

0

每个实例的帧率上限(fps)。 0 使用所选策略的默认值。

最大比特率(bps)

int

0

每个实例的最大比特率,单位为每秒比特数。 0 使用所选策略的默认值。

发布策略

发布策略是客户端传输预算。它控制每秒发送多少帧,以及分配给视频轨道的最大比特率。

策略
FPS
最大比特率
何时使用

自动兼容

10

750 kbps

默认。与当前后端处理速率兼容的均衡预算。除非有特定原因,否则请使用此项。

高响应

15

1,000 kbps

在更快的视觉更新能提升 AI 响应质量的场景中使用(快速移动的物体、手势识别)。网络开销更高。

低开销

5

350 kbps

适用于高并发部署、带宽受限的移动设备,或视觉上下文变化较慢的场景。

手动

(无)

(无)

连接房间时不会自动开始发布。调用 EnablePublishing(true) 从脚本中启动。适用于按会话门控或基于触发器的捕获。

若要在不更改策略的情况下覆盖特定实例的策略默认值,请设置 最大发布 FPS 或 最大比特率(bps) 在检查器中。值为 0 表示“使用策略默认值”。

通过脚本控制发布

在运行时切换策略

调用 SetPublishPolicy 以在会话运行时更改传输预算。更改将在下一帧发布时生效。

使用手动策略暂停和恢复

手动 当视觉上下文只在特定时刻相关时,此策略很有用——例如,当玩家正在看某个特定物体时。

EnablePublishing 在所有策略下都生效,而不仅仅是 手动。在自动发布策略下,发布通常会随房间连接而开始和停止,而 EnablePublishing(false) 仍然会将其停止。

只调用一次就是一个持久的决定:从那一刻起,你显式设置的值会优先生效,策略将不再决定是否运行发布。之后切换到其他策略会改变帧率和比特率,但不会改变开启或关闭状态。请使用 手动 当你希望按需控制在检查器中体现为明确意图时。

检查发布状态

读取 IsPublishing 以确认视频轨道正在主动发送。

IsPublishing 变为 true 在 ConvaiRoomManager 与以下项连接: 连接类型 设置为 视频,帧源达到 Ready 状态,协调器成功打开 WebRTC 视频轨道。

自动发布行为

关于 自动兼容, 高响应,以及 低开销,则在房间连接时会自动开始发布。发布器会等待帧源发出就绪信号后再打开轨道——无需脚本。

房间连接时的顺序:

  1. ConvaiRoomManager 建立视频连接。

  2. ConvaiVisionPublisher 启动并解析帧源。

  3. 帧源开始捕获并发出 Ready.

  4. 协调器打开一个名为以下名称的 WebRTC 视频轨道: videoTrackName.

  5. IsPublishing 变为 true 以及 视频轨道已发布 域事件触发。

原始 RenderTexture 绕过方向

ConvaiVisionPublisher 通常通过以下方式读取帧: IVisionFrameSource — CameraVisionFrameSource, WebcamVisionFrameSource, QuestVisionFrameSource,或自定义实现。接口约定要求每个 IVisionFrameSource 都公开一个 RenderTexture 它已经是自上而下的(相对于 Unity 默认的自下而上方向进行了 Y 翻转),因为 WebRTC 视频轨道要求如此。

绕过所有 IVisionFrameSource 并直接分配一个原始 RenderTexture 直接给 LiveKit TextureVideoSource 必须提供已经是自上而下的纹理:请使用 Graphics.Blit 使用 scale: Vector2(1, -1) 和 offset: Vector2(0, 1),或者将帧通过 Convai IVisionFrameSource 实现进行传递。参见 自定义帧源 了解 Graphics.Blit 模式。

WebGL

在 WebGL 上,不需要也不会使用帧源组件。 ConvaiVisionPublisher 会通过以下方式自动捕获可见的浏览器画布: canvas.captureStream() 在房间连接后立即执行。所分配的 来源 字段会被忽略。

行为
详情

帧源

无需任何内容。WebGL 上会忽略所分配的帧源。

帧率

策略自身的帧率被限制为 15 fps。显式设置的 最大发布 FPS 高于 0 的值将按原样使用,不会被限制。

比特率

应用策略比特率(不额外限制)。

HTTPS

生产环境必需。 http://localhost 是唯一的例外。

下一步

Vision 脚本 API视觉调试预览排查视觉问题

最后更新于

这有帮助吗?