For the complete documentation index, see llms.txt. This page is also available as Markdown.

在 React 中添加音频可视化器

在 React 应用中使用会话音轨上的 Web Audio API,根据角色的声音绘制实时电平表和频率条。

在 React 组件中将角色的声音绘制为频谱条和电平表。当你构建自定义 UI 并希望在角色说话时获得可视化反馈时,请使用此页面。此示例是一个可根据你的设计进行调整的起点。

先决条件

  • 一个已连接到以下内容的 React 应用 useConvaiClient,并使用默认的 LiveKit 传输。此示例从以下位置读取角色的音频轨道: room.remoteParticipants,而 WebSocket 传输不会填充该对象。

  • 角色的音频通过以下组件播放: AudioRenderer 或 ConvaiWidget。可视化器只读取该轨道;它不会播放音频。参见 在 React 中构建自定义 UI.

添加可视化器组件

该组件会等待会话连接,获取第一个远程音频轨道,并将其输入到 Web Audio AnalyserNode。它会在每一帧动画中将频率数据绘制到画布上,并保存平均电平。

此处的 AudioContext 是浏览器的 Web Audio 类。不要从 AudioContext 中导入 @convai/web-widget/react 到同一个文件中;该导出项是 LiveKit 房间上下文。

src/AudioVisualizer.tsx
import { useEffect, useRef, useState } from 'react';
import type { useConvaiClient } from '@convai/web-sdk/react';

type Client = ReturnType<typeof useConvaiClient>;

export function AudioVisualizer({ convaiClient }: { convaiClient: Client }) {
  const canvasRef = useRef<HTMLCanvasElement | null>(null);
  const [audioLevel, setAudioLevel] = useState(0);

  useEffect(() => {
    if (!convaiClient.room || !convaiClient.state.isConnected) return;

    let animationId = 0;
    const audioContext = new AudioContext();

    const participant = Array.from(convaiClient.room.remoteParticipants.values())[0];
    const publication = participant
      ? Array.from(participant.audioTrackPublications.values())[0]
      : undefined;
    const track = publication?.track;

    if (track) {
      const source = audioContext.createMediaStreamSource(
        new MediaStream([track.mediaStreamTrack]),
      );
      const analyser = audioContext.createAnalyser();
      analyser.fftSize = 256;
      source.connect(analyser);
      const data = new Uint8Array(analyser.frequencyBinCount);

      const render = () => {
        analyser.getByteFrequencyData(data);
        const average = data.reduce((sum, v) => sum + v, 0) / data.length;
        setAudioLevel(average / 255);

        const ctx = canvasRef.current?.getContext('2d');
        if (ctx && canvasRef.current) {
          const { width, height } = canvasRef.current;
          ctx.clearRect(0, 0, width, height);
          const barWidth = (width / data.length) * 2.5;
          let x = 0;
          for (let i = 0; i < data.length; i++) {
            const barHeight = (data[i] / 255) * height;
            ctx.fillRect(x, height - barHeight, barWidth, barHeight);
            x += barWidth + 1;
          }
        }

        animationId = requestAnimationFrame(render);
      };

      render();
    }

    return () => {
      cancelAnimationFrame(animationId);
      audioContext.close().catch(() => {});
    };
  }, [convaiClient.room, convaiClient.state.isConnected]);

  return (
    <div>
      <canvas ref={canvasRef} width={800} height={200} />
      <div>Audio level: {(audioLevel * 100).toFixed(0)}%</div>
    </div>
  );
}

当以下内容变化时,effect 会再次运行 state.isConnected 时发生变化。如果会话连接时角色的轨道尚未发布,则该组件在该会话中不会绘制任何内容;如果你的应用需要,在轨道到达后重新运行设置。

一个调用以下方法的组件: setAudioLevel 每一帧动画都会以显示刷新率重新渲染。对于较重的页面,改为将电平写入 ref 或直接写入 DOM。

测量你自己的麦克风

audioControls 具有一个 audioLevel 字段,以及 startAudioLevelMonitoring() 和 stopAudioLevelMonitoring() 方法。在此版本中 startAudioLevelMonitoring() 不会更新 audioLevel,它保持为 0。要显示你自己的麦克风电平,请将同样的分析器方法应用到来自以下位置的本地麦克风轨道: room.localParticipant.audioTrackPublications.

验证可视化器

渲染 <AudioVisualizer convaiClient={convaiClient} />,连接并发送一条消息。

下一步

在 React 中构建自定义 UIuseConvaiClient Hook 参考使用 WebSocket 传输层

最后更新于

这有帮助吗?