LiveKit STT and TTS

Definition

STT はユーザー音声をテキストへ変換する層、TTS は Agent 応答テキストを音声へ変換する層であり、音声対話の入出力境界を担う。

Why It Matters

音声エージェントでは、LLM だけ理解しても不十分だ。入力認識と出力合成の特性が、遅延、自然さ、割り込み体験、コスト、モデル選定に直結する。

Current Understanding

Pipeline 型の音声 Agent では STT → LLM → TTS の配線が基本になる。一方で Realtime models では、これらが単一モデルの内部で統合される場合がある。したがって STT/TTS は固定実装ではなく、アーキテクチャ選択の軸でもある。

LiveKit のモデル層では STT Models, TTS Models, Realtime Models, Audio Customization などが関係する。Session 理解と結びつけると、STT/TTS はモデル選択の話であると同時に、対話制御や turn handling の体験設計とも直結する。

Connections

• LiveKit Agent Session
• LiveKit Turn Detection
• LiveKit Pipeline
• LiveKit で turn detection と VAD はどう違うか
• Agent Speech and Audio
• STT Models Overview
• TTS Models Overview
• Realtime Models Overview
• Audio Customization

New Insights

• STT/TTS は I/O モデル選択の話であるだけでなく、会話体験設計の中核でもある
• Realtime models によって pipeline の見え方が変わるため、概念としては分離しつつ比較軸を持つ必要がある

Open Questions

• Front-desk sample では STT/TTS の指定と session 構築がどう結びつくか
• audio customization の設定は TTS 概念ノート側でどこまで吸収すべきか