音声対話型エージェントで、応答遅延をどこまで詰められるか

音声対話型のAIエージェントを実際に運用してみると、回答の正確さ以上に応答までの間（ま）が体験を左右することがわかります。人間同士の会話では、応答が1秒を超えると相手は「聞こえていないのか」と不安になり、話し始めが重なります。

遅延はどこで発生しているか

応答遅延を「音声認識」「推論」「音声合成」の3つに分けて計測すると、多くの場合ボトルネックは推論ではありません。実案件で計測した内訳は次のようなものでした。

1. 音声区間の終了判定（発話が終わったと判断するまでの待ち時間）
2. 音声認識の確定処理
3. モデルの推論（最初のトークンが返るまで）
4. 音声合成と再生開始

このうち最も削りやすいのは1番目です。「無音が続いたら発話終了」という判定は、待ち時間を長く取れば誤検知が減る一方、そのまま遅延として体感されます。

先読みと逐次処理で体感を変える

遅延の総量を減らすことに加えて、待っている時間を待っていないように見せる設計が有効でした。具体的には、音声認識の途中結果を使って推論を先に走らせ、確定した認識結果が想定と一致していればそのまま応答を続けます。また音声合成は文章全体の生成完了を待たず、最初の一文が出来た時点で再生を始めます。

処理を逐次化した場合の時間軸イメージ。各処理の完了を待たず重ねていきます。

どこまで詰めるべきか

実案件では応答時間を85%短縮しましたが、遅延をゼロに近づけることが常に正解とは限りません。相手が考えながら話す場面では、即座に応答が返ることがかえって急かされている印象を与えます。用途に応じて、意図的に間を置く設計も含めて検討することをおすすめします。