视觉
启用 Convai 角色实时感知并响应你的 Unity 场景。Vision 功能、其组件和平台支持概览。
面向 Convai 角色的实时场景视觉
视觉功能让 Convai 角色能够看到 Unity 场景中正在发生的事情。当视觉功能启用时,会从一个可配置的来源持续捕获视频流——场景摄像机、物理摄像头,或 Meta Quest 头显的透视画面——并将其发布到 Convai,在那里它会与角色的对话上下文一起进行处理。随后,角色可以对其观察到的内容作出响应、描述物体、标记危险,或根据实时视觉输入引导用户。
视觉是一个模块级功能,依赖于 ConvaiRoomManager 在 视频 连接模式下运行。在原生平台上,视频流来源于一个 RenderTexture;在 WebGL 上,它通过 canvas.captureStream().
视觉功能如何融入 SDK
在 WebGL 上, ConvaiVisionPublisher 会完全绕过帧来源,直接发布浏览器画布。其余管线保持一致。
关键概念
帧来源
一个 MonoBehaviour 用于捕获帧并将其作为一个 Y 翻转的 RenderTexture暴露出来。三种内置实现覆盖摄像机、网络摄像头和 Meta Quest 透视画面。
发布策略
控制向后端流式传输时使用的客户端帧率和比特率。不控制后端使用哪个 AI 模型或提供方。
视频轨道
发布到活动 Convai 房间的 WebRTC 视频轨道。通过以下项标识: 视频轨道名称 字段(默认 "unity-scene").
房间连接
视觉功能仅在以下情况下发布: ConvaiRoomManager 已连接并使用 连接类型 设为 视频。仅音频连接不传输视频。
放在哪里
了解哪个组件应该放在哪里,可以避免最常见的配置错误。
ConvaiRoomManager
任何持久化场景 GameObject
连接类型 必须设置为 视频
ConvaiVisionPublisher
任何持久化场景 GameObject
通常放置在 NPC 根对象上或其附近
CameraVisionFrameSource
与发布器相同的 GameObject,或其子 GameObject
每个采集源一个
WebcamVisionFrameSource
与发布器相同的 GameObject,或其子 GameObject
每个采集源一个
QuestVisionFrameSource
与发布器相同的 GameObject,或其子 GameObject
仅限 Meta Quest;需要 Meta XR SDK
VisionDebugPreview
任意场景 GameObject
仅限编辑器;在玩家构建中会自动禁用
前提条件
平台行为
PC / Mac / 主机
CameraVisionFrameSource, WebcamVisionFrameSource
完整的 RenderTexture 管线
Android / iOS
CameraVisionFrameSource, WebcamVisionFrameSource
网络摄像头来源会在启动时请求摄像头权限
WebGL
(画布,自动)
canvas.captureStream() 路径——无需帧来源组件;帧率上限为 15 fps
Meta Quest
QuestVisionFrameSource
需要 Meta XR SDK;绑定到 PassthroughCameraAccess 通过反射
本节内容
快速开始
通过一步一步的 Inspector 演示,让一个角色接收实时摄像头画面——无需编写代码。
帧来源
为每个平台和使用场景配置 CameraVisionFrameSource、WebcamVisionFrameSource 和 QuestVisionFrameSource。
发布与策略
选择发布策略,调节帧率和比特率,并控制视频轨道的生命周期。
调试预览
将活动帧来源可视化为屏幕叠加层,并在编辑器中监控采集健康状况。
使用示例
面向安全培训、设备上手、VR 演示和手动触发会话的端到端示例。
高级主题
脚本 API、自定义 IVisionFrameSource、领域事件、WebGL 深入解析以及平台兼容性矩阵。
故障排除与诊断
使用结构化清单和决策树诊断发布失败、空白画面、权限错误和平台特定问题。
结论
视觉功能将你的 Unity 场景直接连接到角色的感知,使角色能够基于其所见做出响应。先从快速开始入手,让场景摄像机获得可用的视频流,然后使用帧来源为你的平台和使用场景选择合适的采集方式。
最后更新于
这有帮助吗?