在 React 中添加音频可视化器
在 React 应用中使用会话音轨上的 Web Audio API,根据角色的声音绘制实时电平表和频率条。
在 React 组件中将角色的声音绘制为频谱条和电平表。当你构建自定义 UI 并希望在角色说话时获得可视化反馈时,请使用此页面。此示例是一个可根据你的设计进行调整的起点。
先决条件
一个已连接到以下内容的 React 应用
useConvaiClient,并使用默认的 LiveKit 传输。此示例从以下位置读取角色的音频轨道:room.remoteParticipants,而 WebSocket 传输不会填充该对象。角色的音频通过以下组件播放:
AudioRenderer或ConvaiWidget。可视化器只读取该轨道;它不会播放音频。参见 在 React 中构建自定义 UI.
添加可视化器组件
该组件会等待会话连接,获取第一个远程音频轨道,并将其输入到 Web Audio AnalyserNode。它会在每一帧动画中将频率数据绘制到画布上,并保存平均电平。
此处的 AudioContext 是浏览器的 Web Audio 类。不要从 AudioContext 中导入 @convai/web-widget/react 到同一个文件中;该导出项是 LiveKit 房间上下文。
import { useEffect, useRef, useState } from 'react';
import type { useConvaiClient } from '@convai/web-sdk/react';
type Client = ReturnType<typeof useConvaiClient>;
export function AudioVisualizer({ convaiClient }: { convaiClient: Client }) {
const canvasRef = useRef<HTMLCanvasElement | null>(null);
const [audioLevel, setAudioLevel] = useState(0);
useEffect(() => {
if (!convaiClient.room || !convaiClient.state.isConnected) return;
let animationId = 0;
const audioContext = new AudioContext();
const participant = Array.from(convaiClient.room.remoteParticipants.values())[0];
const publication = participant
? Array.from(participant.audioTrackPublications.values())[0]
: undefined;
const track = publication?.track;
if (track) {
const source = audioContext.createMediaStreamSource(
new MediaStream([track.mediaStreamTrack]),
);
const analyser = audioContext.createAnalyser();
analyser.fftSize = 256;
source.connect(analyser);
const data = new Uint8Array(analyser.frequencyBinCount);
const render = () => {
analyser.getByteFrequencyData(data);
const average = data.reduce((sum, v) => sum + v, 0) / data.length;
setAudioLevel(average / 255);
const ctx = canvasRef.current?.getContext('2d');
if (ctx && canvasRef.current) {
const { width, height } = canvasRef.current;
ctx.clearRect(0, 0, width, height);
const barWidth = (width / data.length) * 2.5;
let x = 0;
for (let i = 0; i < data.length; i++) {
const barHeight = (data[i] / 255) * height;
ctx.fillRect(x, height - barHeight, barWidth, barHeight);
x += barWidth + 1;
}
}
animationId = requestAnimationFrame(render);
};
render();
}
return () => {
cancelAnimationFrame(animationId);
audioContext.close().catch(() => {});
};
}, [convaiClient.room, convaiClient.state.isConnected]);
return (
<div>
<canvas ref={canvasRef} width={800} height={200} />
<div>Audio level: {(audioLevel * 100).toFixed(0)}%</div>
</div>
);
}当以下内容变化时,effect 会再次运行 state.isConnected 时发生变化。如果会话连接时角色的轨道尚未发布,则该组件在该会话中不会绘制任何内容;如果你的应用需要,在轨道到达后重新运行设置。
一个调用以下方法的组件: setAudioLevel 每一帧动画都会以显示刷新率重新渲染。对于较重的页面,改为将电平写入 ref 或直接写入 DOM。
测量你自己的麦克风
audioControls 具有一个 audioLevel 字段,以及 startAudioLevelMonitoring() 和 stopAudioLevelMonitoring() 方法。在此版本中 startAudioLevelMonitoring() 不会更新 audioLevel,它保持为 0。要显示你自己的麦克风电平,请将同样的分析器方法应用到来自以下位置的本地麦克风轨道: room.localParticipant.audioTrackPublications.
验证可视化器
渲染 <AudioVisualizer convaiClient={convaiClient} />,连接并发送一条消息。
下一步
在 React 中构建自定义 UIuseConvaiClient Hook 参考使用 WebSocket 传输层最后更新于
这有帮助吗?