发布策略
Vision 发布策略参考,包括 FPS 和码率预算、运行时控制方法、自动发布行为以及 WebGL 特定行为。
ConvaiVisionPublisher 用于管理将摄像头画面从 Unity 传送到 Convai 的 WebRTC 视频轨道。发布策略控制客户端的帧率和比特率预算;它不配置任何 AI 模型或后端视觉提供商。
检查器参考
检查器分为两个可折叠部分: 帧源 和 发布策略.
帧源
来源
MonoBehaviour
(自动发现)
该 IVisionFrameSource 用于发布。留空可从同一 GameObject、子对象或场景中自动发现。当存在多个帧源时请显式指定。
轨道名称
string
"unity-scene"
该 WebRTC 轨道在 LiveKit 房间中显示的名称。仅当后端路由需要特定名称时才更改。
发布策略
最大发布 FPS
int (0–30)
0
每个实例的帧率上限(fps)。 0 使用所选策略的默认值。
最大比特率(bps)
int
0
每个实例的最大比特率,单位为每秒比特数。 0 使用所选策略的默认值。
发布策略
发布策略是客户端传输预算。它控制每秒发送多少帧,以及分配给视频轨道的最大比特率。
自动兼容
10
750 kbps
默认。与当前后端处理速率兼容的均衡预算。除非有特定原因,否则请使用此项。
高响应
15
1,000 kbps
在更快的视觉更新能提升 AI 响应质量的场景中使用(快速移动的物体、手势识别)。网络开销更高。
低开销
5
350 kbps
适用于高并发部署、带宽受限的移动设备,或视觉上下文变化较慢的场景。
手动
(无)
(无)
连接房间时不会自动开始发布。调用 EnablePublishing(true) 从脚本中启动。适用于按会话门控或基于触发器的捕获。
若要在不更改策略的情况下覆盖特定实例的策略默认值,请设置 最大发布 FPS 或 最大比特率(bps) 在检查器中。值为 0 表示“使用策略默认值”。
通过脚本控制发布
在运行时切换策略
调用 SetPublishPolicy 以在会话运行时更改传输预算。更改将在下一帧发布时生效。
使用手动策略暂停和恢复
手动 当视觉上下文只在特定时刻相关时,此策略很有用——例如,当玩家正在看某个特定物体时。
EnablePublishing 在所有策略下都生效,而不仅仅是 手动。在自动发布策略下,发布通常会随房间连接而开始和停止,而 EnablePublishing(false) 仍然会将其停止。
只调用一次就是一个持久的决定:从那一刻起,你显式设置的值会优先生效,策略将不再决定是否运行发布。之后切换到其他策略会改变帧率和比特率,但不会改变开启或关闭状态。请使用 手动 当你希望按需控制在检查器中体现为明确意图时。
检查发布状态
读取 IsPublishing 以确认视频轨道正在主动发送。
IsPublishing 变为 true 在 ConvaiRoomManager 与以下项连接: 连接类型 设置为 视频,帧源达到 Ready 状态,协调器成功打开 WebRTC 视频轨道。
自动发布行为
关于 自动兼容, 高响应,以及 低开销,则在房间连接时会自动开始发布。发布器会等待帧源发出就绪信号后再打开轨道——无需脚本。
房间连接时的顺序:
ConvaiRoomManager建立视频连接。ConvaiVisionPublisher启动并解析帧源。帧源开始捕获并发出
Ready.协调器打开一个名为以下名称的 WebRTC 视频轨道:
videoTrackName.IsPublishing变为true以及视频轨道已发布域事件触发。
原始 RenderTexture 绕过方向
ConvaiVisionPublisher 通常通过以下方式读取帧: IVisionFrameSource — CameraVisionFrameSource, WebcamVisionFrameSource, QuestVisionFrameSource,或自定义实现。接口约定要求每个 IVisionFrameSource 都公开一个 RenderTexture 它已经是自上而下的(相对于 Unity 默认的自下而上方向进行了 Y 翻转),因为 WebRTC 视频轨道要求如此。
绕过所有 IVisionFrameSource 并直接分配一个原始 RenderTexture 直接给 LiveKit TextureVideoSource 必须提供已经是自上而下的纹理:请使用 Graphics.Blit 使用 scale: Vector2(1, -1) 和 offset: Vector2(0, 1),或者将帧通过 Convai IVisionFrameSource 实现进行传递。参见 自定义帧源 了解 Graphics.Blit 模式。
WebGL
在 WebGL 上,不需要也不会使用帧源组件。 ConvaiVisionPublisher 会通过以下方式自动捕获可见的浏览器画布: canvas.captureStream() 在房间连接后立即执行。所分配的 来源 字段会被忽略。
帧源
无需任何内容。WebGL 上会忽略所分配的帧源。
帧率
策略自身的帧率被限制为 15 fps。显式设置的 最大发布 FPS 高于 0 的值将按原样使用,不会被限制。
比特率
应用策略比特率(不额外限制)。
HTTPS
生产环境必需。 http://localhost 是唯一的例外。
下一步
Vision 脚本 API视觉调试预览排查视觉问题最后更新于
这有帮助吗?