LiveKit Pipeline
Definition
LiveKit Pipeline は、音声入力から応答出力までを STT, LLM, TTS, turn handling, hooks などの段階的な処理として構成するアーキテクチャ上の見方である。
Why It Matters
音声 Agent を理解する時、単に「モデルを呼ぶ」では構造が粗すぎる。どこで認識し、どこで推論し、どこで合成し、どこで割り込みを制御するかを段階として見ることで、設計とデバッグがしやすくなる。
Current Understanding
Pipeline 型の理解では、ユーザー音声が入力され、STT が文字化し、LLM が応答を作り、TTS が音声化し、それを turn handling や hooks が補助する。LiveKit の Nodes, Session, Audio, Models, Turns などの各ドキュメントは、この pipeline のどこかを掘っていると見なせる。
Realtime model の場合は複数段が統合されることがあるが、それでも pipeline 観点は比較軸として有効である。つまり pipeline は実装固定ではなく、理解の座標軸として重要である。
Connections
- LiveKit Agent Session
- LiveKit STT and TTS
- LiveKit Turn Detection
- LiveKit Room and Participant
- Agent Speech and Audio
- Pipeline Nodes and Hooks
- Realtime Models Overview
New Insights
- pipeline は実装詳細ではなく、LiveKit の複数ドキュメントを統合する理解の軸になる
- Realtime models は pipeline を不要にするのではなく、段の境界を内部化する
Open Questions
- Node 単位の hook 挿入ポイントをここでどこまで扱うべきか
- sample code 読解で pipeline 観点をどう可視化するか