视觉快速开始

通过 SDK 的自动组件设置，将 Vision 添加到现有 Convai 场景中，让角色能够看见并响应实时摄像头输入。

只需三步即可为现有的 Convai 场景添加 Vision。SDK 会在你将 ConvaiRoomManager 设置为视频模式。

前提条件

开始前，请确认：

• 一个 ConvaiCharacter 已在场景中，并会在播放模式下响应语音

1

将 Connection Type 设置为 Video

选择 ConvaiRoomManager 层级视图中的 GameObject。在 Inspector 中，将 连接类型 到 视频.

ConvaiRoomManager 上的 Connection Type 设置为 Video。

会立即出现一个对话框：

Convai Vision 设置 — Connection Type 已设为 Video，但缺少必需的视觉组件。添加 ConvaiVisionPublisher 和 CameraVisionFrameSource 到这个 ConvaiRoomManager 下？

点击 添加组件.

Convai Vision 设置对话框提示。

SDK 会创建一个名为以下名称的子 GameObject： ConvaiVisionRoot 下的 ConvaiRoomManager 并添加以下两个组件： ConvaiVisionPublisher 和 CameraVisionFrameSource 到其中。

2

指定一个摄像头

选择 ConvaiVisionRoot GameObject（作为……的子对象 ConvaiRoomManager）。在 CameraVisionFrameSource 组件中，找到 目标摄像机 字段。

• 如果你的场景中有一个 摄像机 带有 MainCamera，请将该字段留空——该组件会在运行时自动解析。
• 要捕获特定摄像头（俯视视角、监控摄像头等），请将该摄像头拖到 目标摄像机 字段。

默认的 捕获预设 为 均衡 （1280 × 720，15 fps），适用于大多数场景。

如果 目标摄像机 为空，并且场景中没有任何摄像头带有 MainCamera，则帧源会进入 失败 状态。请始终显式指定一个摄像头，或确保有一个摄像头具有 MainCamera 标签。

在 CameraVisionFrameSource 上指定的 Target Camera。

3

使用调试预览进行验证

在任意场景 GameObject 上，点击 添加组件 → Convai/Vision/Vision Debug Preview（仅限编辑器）.

按下 Play。游戏视图中会出现一个覆盖层，显示实时摄像头画面和统计面板。房间连接后，FPS 计数器会递增，帧计数也会增加。

已添加 Vision Debug Preview 组件。

成功： Debug Preview 覆盖层显示实时图像，且 FPS 计数器不为零。读取 ConvaiVisionPublisher.IsPublishing 在任意脚本中返回 true。角色现在会在音频对话之外，同时接收场景摄像头画面。

如果覆盖层仍为空白或 FPS 计数器显示为零，请检查 ConvaiRoomManager.Connection Type 被设置为 视频 以及房间是否已完全连接。请参阅 排查 Vision 问题 以进行逐步诊断。

手动设置组件

如果你点击了 稍后 对话框中的该选项，或者想将组件放置到特定 GameObject 上，请手动添加：

1. 选择目标 GameObject（任何持久化场景对象——通常位于你的 NPC 上或附近）。
2. 添加组件 → 搜索 Convai Vision Publisher.
3. 在同一个 GameObject（或其子对象）上， 添加组件 → Convai/视觉/摄像机视觉帧源.
4. 分配 目标摄像机 如果不使用 Camera.main.
5. 请将 Source 字段在 ConvaiVisionPublisher 留空——发布器会自动发现 CameraVisionFrameSource 运行时同一 GameObject 上的它。只有在场景中有多个帧源时，才需要显式指定它。

手动视觉设置——发布器和帧源组件。

下一步

视觉如何工作视觉帧源发布策略视觉故障排查