Ctrlk
PlaygroundExperienceVideosPricingForumStatus
youtube
For the complete documentation index, see llms.txt. This page is also available as Markdown.

带 Vision 的混合现实 AI 角色（Meta Quest）

构建一个由 Convai 驱动的 AI 角色，它运行在 Meta Quest 透视混合现实应用中，并且可以通过 Quest 摄像头看到并描述用户周围的真实世界。

前提条件：

  • 已转换为 Android 构建目标的 Unity URP 项目

  • 已安装并验证可正常工作的 Convai Unity SDK

  • 用于部署的 Meta Quest 3 或 Pro 设备

如果你还没有设置 Convai SDK，请先从 Unity SDK 安装指南 后再继续。

所需包

此设置需要三个包：

包
Git URL

Convai Unity SDK

com.convai.convai-sdk-for-unity

Meta MR Utility Kit

com.meta.xr.mrutilitykit@85

OVR Interaction

com.meta.xr.sdk.interaction.ovr@85

Meta MR Utility Kit 会自动将 XR Core SDK 作为依赖项安装。你无需单独安装它。

步骤 1 — 安装 MR 包

  1. 前往 窗口 > 包管理器.

  2. 点击 + 图标并选择 从 Git URL 安装包.

  3. 粘贴 Meta MR Utility Kit 包名并让它安装。这也会自动安装 XR Core SDK。

  4. 重复此过程以安装 OVR Interaction 包。

安装后你可能会看到一些警告。可以安全忽略这些警告。

步骤 2 — 将项目转换为 XR

  1. 前往 文件 > 构建配置 > 玩家设置 > XR 插件管理 并点击 安装.

  2. 当提示选择插件提供程序时，选择 OpenXR.

  3. 当被要求启用 Meta XR 功能集时，选择 是.

  4. 单击 修复 对出现的任何警告消息。

  5. 在 OpenXR 设置下，添加以下交互配置文件：

    • Meta Quest Touch Pro

    • Meta Quest Touch Plus

  6. 启用 Meta Quest 支持.

  7. 移除 Quest 是位于 Quest 2 从目标设备列表中。

步骤 3 — 为透视模式配置场景

默认的 Convai 示例场景使用 Unity 摄像机和环境对象，这与 Meta 的透视摄像机装置冲突。请在添加 MR 构建模块之前禁用这两者。

  1. 在层级视图中，导航到 Convai > Camera 并取消勾选 检查器.

  2. 对 环境 下的摄像机组件也这样做。

  3. 前往 Meta Quest Tools > Building Blocks.

  4. 在 Core 筛选器下，添加 Camera Rig 是位于 Passthrough.

  5. 在 Passthrough 筛选器下，添加 透视相机访问 ——这是必需的，因为视觉流必须发送到 Convai 服务器。

  6. 出现提示时，点击 覆盖.

如果添加摄像机装置后你的 Convai 角色不可见，请在层级视图中选中它，并手动更新 Transform 位置 数值，直到它在场景视图中正确显示。

步骤 4 — 启用视觉

此步骤将 Meta Quest 透视摄像机连接到 Convai 角色，使其能够看到并响应用户周围的真实世界。

  1. 选择 Convai Manager 在层级视图中。

  2. 将 连接类型 到 视频.

  3. 出现提示时，点击 添加组件 以添加 Convai Vision Publisher 是位于 Camera Frame Source。这些会作为子组件出现在层级视图中的 Convai Manager 下。

  4. 默认情况下，Camera Frame Source 使用 Unity 摄像机。请将其替换为 Quest Vision Frame Source:

    • 将 透视相机访问 对象从层级视图中拖到帧源字段。

  5. 单击 自动查找 在 Convai Vision Publisher.

  6. 在 Camera Rig内，找到 Passthrough 是位于 摄像机访问 开关，并确保两者都已启用。

工作原理： Convai Vision Publisher 会将来自 Quest 摄像机的实时画面发送到 Convai 服务器。角色接收该画面后，可以实时描述、推理并响应物理对象和空间布局。

步骤 5 — 为混合现实设置聊天 UI

默认的 Convai 画布 UI 是为平面屏幕构建的。在 MR 场景中，它需要转换为世界空间并缩小，以便自然地位于头显中角色旁边。

  1. 选择 画布 在层级视图中。

  2. 将 渲染模式 到 世界空间.

  3. 将 位置 数值为 0, 0, 0 ，这样它就会显示在玩家前方。

  4. 如果 UI 不可见，请将其 Alpha 值设为 1.

  5. 更改画布的 缩放 来自 1 到 0.001 ——这会将其调整到头显内可读的大小。

  6. 重新定位 状态容器, 录制预制件，以及 设置预制件 到角色左侧。

  7. 略微倾斜，以匹配头显内自然的观看角度。

  8. 在场景视图中调整位置数值，直到布局在角色旁边看起来合适。

你也可以使用 Unity 画布组件以及来自 Meta SDK 的模块，以获得更集成的 UI。上面的数值只是让默认 Convai UI 在头显中正常工作的快速基准。

步骤 6 — 构建并部署到 Meta Quest

  1. 前往 文件 > 构建配置.

  2. 单击 打开场景列表 并添加 Lip Sync 场景.

  3. 单击 构建，选择目标文件夹，然后点击 保存.

  4. 通过 USB 连接你的 Meta Quest 设备。

  5. 已构建的应用会出现在头显中的 未知来源 中。从那里启动它。

添加一个 Directional Light 在构建前添加到场景中。现实世界的光照条件差异很大，定向光有助于让角色在不同环境中保持一致的外观

测试视觉

进入头显后，通过询问角色它能看到什么来测试视觉连接：

  • “你看到我周围有什么？”

  • “这个房间里有几把椅子？”

  • “你能描述一下我桌子上有什么吗？”

角色会使用 Quest 透视摄像机画面实时描述物理环境。

组件参考

组件
角色

Convai Vision Publisher

将摄像机画面流发送到 Convai 服务器进行处理

Quest Vision Frame Source

Meta Quest 专用输入，用透视画面替换默认的 Unity 摄像机

透视相机访问

赋予应用访问 Quest 透视摄像机的 Meta 构建模块

Camera Rig

用于 XR 的、替代标准 Unity 摄像机的 Meta 构建模块

最后更新于

这有帮助吗？