For the complete documentation index, see llms.txt. This page is also available as Markdown.

快速开始

创建可用 Vision 设置的最快路径。通过 Inspector 添加帧源和发布器,验证流,并了解运行时会发生什么。

你的第一个 Vision 设置

本指南将带你完成让 Convai 角色从你的 Unity 场景接收实时摄像头画面的最少步骤。SDK 可以自动为你添加所需组件——请按照下面的主要流程操作;如果你关闭了提示,或者需要自定义放置位置,则使用手动流程。

先决条件

  • 一个带有 ConvaiCharacter 组件且已设置并正常工作的 Unity 场景(角色应能对语音做出响应)。

  • 你的 Convai API 密钥配置在 工具 → Convai → 配置.

1

将 Connection Type 设置为 Video

选择 ConvaiRoomManager Hierarchy 中的 GameObject。在 Inspector 中,将 连接类型视频.

会立即出现一个对话框:

Convai Vision 设置 Connection Type 已设置为 Video,但缺少所需的视觉组件。添加 ConvaiVisionPublisher 是位于 CameraVisionFrameSource 到此 ConvaiRoomManager 下吗?

单击 添加组件.

SDK 会创建一个名为 ConvaiVisionRoot 位于 ConvaiRoomManager 并添加这两个 ConvaiVisionPublisher 是位于 CameraVisionFrameSource 到其中。无需再进行其他组件设置。

如果你点击了 稍后 并且需要手动添加组件,请参见下面的手动组件设置。

2

分配一个 Camera(如果不使用 Camera.main)

选择 ConvaiVisionRoot GameObject(位于 ConvaiRoomManager)下。在 CameraVisionFrameSource 组件中,找到 目标摄像机 字段中。

  • 如果你的场景中有一个 Camera 带有标签 MainCamera,请将该字段留空——该组件会在运行时自动解析它。

  • 如果你想捕获特定摄像头(俯视视角、监控摄像头等),请将该摄像头拖到 目标摄像机 字段中。

默认的 捕获预设平衡 (1280 × 720,15 fps),适用于大多数用例。

3

添加 Vision 调试预览并验证

在任意场景 GameObject 上,点击 添加组件Convai/Vision/Vision 调试预览(仅编辑器).

播放。游戏视图中会出现一个覆盖层,显示实时摄像头画面和统计面板。房间连接后,FPS 计数器会递增,帧计数也会开始增加——此时角色已开始接收视觉上下文。


手动组件设置

如果你点击了 稍后 在对话框中,或者想将组件放到特定的 GameObject 上,请手动添加:

  1. 选择目标 GameObject(任何持久场景对象——通常位于你的 NPC 上或附近)。

  2. 添加组件 → 搜索 Convai Vision Publisher.

  3. 在同一个 GameObject(或其子对象)上, 添加组件Convai/Vision/Camera Vision Frame Source.

  4. 分配该 目标摄像机 如果不使用 Camera.main.

  5. 帧源组件 上的字段 ConvaiVisionPublisher 留空——发布器会在运行时发现 CameraVisionFrameSource 同一个 GameObject 上的它。只有当场景中有多个帧源时,才显式指定它。


刚刚发生了什么

当你点击 添加组件 并按下 Play 时,发生了以下情况:

  1. SDK 创建了一个 ConvaiVisionRoot 位于……下的子 GameObject ConvaiRoomManager 并添加了 ConvaiVisionPublisher 是位于 CameraVisionFrameSource 到其中。

  2. ConvaiRoomManager 建立了一个 视频 与 Convai 后端的连接。

  3. ConvaiVisionPublisher 检测到活动房间,并等待帧源就绪。

  4. CameraVisionFrameSource 渲染所分配的摄像头(或 Camera.main)到一个 RenderTexture 并发出帧可用的信号。

  5. VisionPublishCoordinator 应用了 AutoCompatible 发布策略——10 fps、750 kbps——并将纹理传递给视频管线。

  6. 一个名为 "unity-scene" 的视频轨道已发布到 Convai 后端。 IsPublishing 变为 true.

从此开始,角色会同时接收场景摄像头的实时画面和音频对话,并将二者一起处理。

接下来是什么

  • 帧源 — 在桌面端切换到摄像头源,配置移动端摄像头权限,或设置 Meta Quest 透视功能。

  • 发布与策略 — 调整帧率和码率,或切换到 Manual 策略,以明确控制何时开始发布。

  • 调试预览 — 自定义覆盖层的位置、大小和统计信息显示。

  • 故障排除与诊断 — 如果有任何内容无法正常工作,请从这里开始。

结论

现在你已经拥有一个可用的 Vision 设置。SDK 会自动处理组件放置和运行时连线——角色会接收来自你的场景摄像头的实时画面,并能够对所见内容进行推理。请浏览上面的指南,以便根据你的目标平台和生产需求调整此设置。

最后更新于

这有帮助吗?