视觉

查找在 Unity 中为 Convai 角色添加实时场景视觉的指南，包括帧源、发布策略、脚本编写和故障排查。

视觉使 Convai 角色能够看到 Unity 场景内部正在发生的事情。帧源会从 Unity 摄像机、物理摄像头或 Meta Quest 透视传输流中捕获图像，并且 SDK 会通过 WebRTC 连同音频对话一起将它们流式传输到 Convai。

平台支持

平台	支持的帧源	备注
PC / Mac / 主机	CameraVisionFrameSource, WebcamVisionFrameSource	完整 RenderTexture 管线；最高 30 fps
Android / iOS	CameraVisionFrameSource, WebcamVisionFrameSource	WebCam 源在启动时请求摄像头权限
WebGL	（Canvas，自动）	canvas.captureStream() 路径——不需要帧源组件；帧率上限为 15 fps； 需要 HTTPS
Meta Quest 3 / 3S	QuestVisionFrameSource	需要 Meta XR SDK 和 horizonos.permission.HEADSET_CAMERA

视觉需要 ConvaiRoomManager.Connection Type 设置为 视频。如果将其设置为 音频, ConvaiVisionPublisher 无论其他组件如何配置，都会保持空闲。

WebGL：需要 HTTPS。 该 canvas.captureStream() 浏览器会阻止非 HTTPS 来源上的 API。 http://localhost 是唯一的例外。在生产环境测试视觉之前，请将你的 WebGL 构建部署到 HTTPS 主机上。

视觉如何工作 了解管线架构、关键概念、组件放置和启动顺序。

动态视觉上下文 开启帧采样，让角色基于缓冲帧进行推理，而不是对每一帧到来的输入都作出反应，并使用与动态上下文相同的响应模式词汇。

视觉快速入门 通过逐步的 Inspector 演示，让角色接收实时摄像头画面——无需编写代码。

视觉帧源 为各种平台和使用场景配置 CameraVisionFrameSource、WebcamVisionFrameSource 和 QuestVisionFrameSource。

发布策略 选择发布策略，调整帧率和比特率，并了解包括 WebGL 在内的平台特定行为。

视觉调试预览 将当前活动的帧源可视化为屏幕叠加层，并在编辑器中监控捕获状态。

自定义帧源 实现 IVisionFrameSource，以发布任何自定义视频管线——接口约定、Y 轴翻转要求以及最小实现。

Vision 脚本 API ConvaiVisionPublisher 的属性和方法、运行时状态监控，以及用于分析集成的领域事件。

视觉使用示例 面向安全培训、设备上岗培训、VR 演示导览和手动触发会话的端到端示例。

视觉故障排除 使用结构化检查清单和决策树，诊断发布失败、空白画面、权限错误以及平台特定问题。

动态视觉上下文

动态视觉上下文使 Convai 能够持续对已发布的视频轨进行采样，将其放入滚动帧缓冲区，并把最新帧附加到角色的轮次中，而不是在每一帧到达时都作出反应。它与 动态上下文: ConvaiRespondMode 值 静默, 自动，以及 MustRespond 决定是由新输入发言、由模型决定，还是保持沉默。参见 动态上下文脚本 API 以获取完整的 ConvaiRespondMode 参考资料。

下一步

从……开始 视觉快速入门 以从场景摄像机获取可用的视频流，然后使用 视觉帧源 来为你的平台选择正确的捕获方法。有关管线详情，请参见 视觉如何工作.