视觉快速开始

将场景视觉添加到 Convai 角色 Blueprint，并验证捕获帧会在 Play In Editor 中影响角色的响应。

我们将添加一个 环境摄像头 组件到现有的 Convai 角色中，分配一个渲染目标，并从以下位置开始捕获： Event BeginPlay。最终，在编辑器中运行（Play In Editor）时，角色应对捕获组件前方可见的内容做出响应。

前提条件

• Convai Unreal Engine 插件版本 4.0.0-beta.21 已安装并启用。请参见 安装插件 （如有需要）。
• 您的 API 密钥已配置。请参见 配置 API 密钥.
• 您的关卡中有一个角色，带有一个 Convai 聊天机器人 组件（UConvaiChatbotComponent）以及一个有效的 CharacterID。参见 添加你的第一个 Convai 角色 如果你尚未完成该设置。
• 一个 Convai Player 组件（UConvaiPlayerComponent）已存在，因此您可以在编辑器中运行（Play In Editor）时开始对话。

Vision 使用的是从角色视角进行的场景捕获，而不是物理设备摄像头。随附的组件是 环境摄像头 (UEnvironmentWebcam).

1

打开角色蓝图

在 内容浏览器，双击您的 Convai 角色的蓝图以打开蓝图编辑器。

2

添加环境摄像头组件

在 Components 面板，单击 Add 并搜索 EnvironmentWebcam。选择 环境摄像头 以将其添加到相同的 Actor ，与 Convai 聊天机器人 组件。

3

放置该组件

在 视口，选择 环境摄像头。将其移动到角色眼睛附近，并旋转它，使其 +X 轴朝向角色应看到的关卡区域。

4

创建渲染目标资源

在 内容浏览器，在空白区域右键单击，打开 Convai 子菜单，然后选择 Vision 渲染目标 （当前插件版本中的上下文菜单标签）。将资源命名为，例如 RT_ConvaiVision，然后保存。

Convai 渲染目标操作会创建一个 UTextureRenderTarget2D 与 RTF_RGBA8、黑色清除颜色，以及默认大小为 512 x 512.

5

分配渲染目标

选择 环境摄像头 到角色蓝图中。在 详细信息 面板中，将资源分配给 Convai 渲染目标 下的 Convai | Vision.

6

从 BeginPlay 开始捕获

打开 事件图表。拖动 环境摄像头 来自 Components 面板到图表中。从组件引脚调用 开始 （类别 Convai | Vision）。连接 Event BeginPlay 到 开始.

7

编译并保存

点击 编译，然后 保存 蓝图。

验证 Vision 是否正常工作

在以下对象前方放置一个明显的物体 环境摄像头。进入编辑器中运行（Play In Editor），开始对话，并询问该物体的信息，例如颜色或位置。

按顺序检查这些信号：

1. 在 Convai 聊天机器人 组件，调用 支持 Vision。它应返回 true.
2. 在 环境摄像头，调用 获取状态。它应返回 Capturing.
3. 在以下位置打开渲染目标资源： 内容浏览器 当编辑器中运行（Play In Editor）时。预览应显示场景内容，而不是空白图像。
4. 在 输出日志，查找 SendImage: 发送原始图像 从 ConvaiChatbotComponentLog.

Vision 正在工作 当 支持 Vision 返回 true, 获取状态 返回 Capturing，渲染目标预览会在编辑器中运行时更新，并且角色的回复会引用可见物体。

如果任何检查失败，请参阅 排查 Vision 问题.

下一步

视觉帧源视觉使用示例视觉如何工作