Tag: inference
3 items with this tag.
LiteratureNotes
LiveKit Inference Overview
LiveKit Cloudに組み込まれた統合モデルインターフェース。STT/LLM/TTSをプラグインなし・APIキー個別管理なしで利用する仕組みと、対応モデル一覧、課金体系について整理する。
LiteratureNotes
Introducing LiveKit Inference (Blog)
LiveKit Inferenceの発表記事。STT/LLM/TTSモデルへの統合API、同時実行制限と課金の一元管理、レイテンシ最適化の3本柱について解説する。
LiteratureNotes
Models Overview
LiveKit Agentsで利用可能なモデルアクセスの2つの経路（Inference / Plugin）と、その使い方・混在方法を整理する。