Speech-to-Text
音声認識(Speech-to-Text、STT)は自動音声認識(ASR)とも呼ばれ、話した音声を文字に変換するAI技術です。話すと、その内容をソフトウェアが書き起こします。スマートフォンの音声入力、ライブ字幕、音声アシスタント、音声チャットボットを支える技術で、AIシステムが人の話を理解する際の最初のステップになります。
理解する Speech-to-Text
音声認識はディープラーニングによって大きく進歩しました。OpenAIのWhisperのような最新のASRシステムは、さまざまななまり、言語、音響条件で人間に近い精度の文字起こしを実現しています。この精度により、音声入力は簡単なコマンドを超えて業務でも使えるようになりました。会議の文字起こし、音声メモ、音声でのタスク作成、音声で操作するAIアシスタントは、どれも信頼できるSTTに支えられています。STTとLLMの言語理解を組み合わせることで、決まったコマンドではなく普段どおりに話すだけで、AIが意図をくみ取る自然な音声インターフェースが生まれます。
音声認識の仕組み: 現在の音声認識は3段階で動きます。まず音声を短いフレーム(通常10〜25ミリ秒)に区切り、各瞬間にどの周波数が強いかを表すスペクトログラムに変換します。次に、数十万時間規模の書き起こし付き音声で学習したニューラルネットワーク(多くはTransformerやConformer)が、フレームをありそうな音や単語に対応づけます。最後にデコーダーが言語の知識を使って最も確からしい文を選び、たとえば「橋」と「箸」を文脈から見分けます。かつては音響モデル、発音辞書、言語モデルを別々に作っていましたが、現在のエンドツーエンドモデルは3つをまとめて学習します。
音声認識は生成AIか: 一般には生成ではなく認識に分類されます。役割は話された内容を再現することで、新しいコンテンツを作ることではないからです。ただし境界はあいまいになっています。Whisperのようなモデルは生成型の言語モデルと同じエンコーダー・デコーダー型のTransformerを使い、書き起こしをトークン単位で出力します。そのため、無音や雑音の区間で、誰も言っていない言葉を「ハルシネーション」として出すことがあります。逆方向の音声合成(Text-to-Speech)が、音声システムの生成側にあたります。
チャットボットでの音声認識: 音声チャットボットや音声アシスタントでは、STTは連鎖の1つの要素です。音声認識が話した言葉をテキストにし、大規模言語モデルがそのテキストを読んで何を言うか、何をするかを決め、音声合成が答えを読み上げます。ストリーミング型のSTTは話している途中から暫定の書き起こしを送り、発話終了の検出で話し終わりを判断するため、返答は1秒ほどで始められます。テキストを経由しない音声から音声への新しいモデルもありますが、実運用のアシスタントの多くは、部品ごとに差し替えや検証ができる3段構成を使い続けています。書き起こしの一歩先にあるのが「意図認識(speech to intent)」で、「5時にリマインドして」がただの文ではなくリマインダーになります。
用途と限界: メッセージや文書の音声入力、動画やイベントの字幕、コールセンターの通話分析、医療や法律の口述筆記、音声検索、運転中や料理中のハンズフリー操作などです。精度は単語誤り率(WER)、つまり挿入、脱落、置換された単語の割合で測ります。口元に近いマイクでのきれいな音声入力なら一桁台の低い値になることが多い一方、話者の重なり、強いなまり、専門用語、電話品質の音声では大きく悪化します。話者を区別した会議の逐語記録が必要なら専用の文字起こしサービスを、話した内容に基づいて動くアシスタントが必要ならSTTとLLMの組み合わせを選んでください。
GAIAの活用方法 Speech-to-Text
GAIA's voice agent component uses speech-to-text to enable hands-free interaction. You can dictate tasks, ask questions about your schedule, and issue commands verbally. The transcribed text is processed by GAIA's LLM for intent recognition and action execution. This is particularly useful for mobile use and for capturing tasks and notes while away from a keyboard.
関連概念
Text-to-Speech
Text-to-speech (TTS) is the technology that converts written text into synthesized spoken audio, enabling computers and AI systems to communicate verbally through natural-sounding voices.
Natural Language Processing (NLP)
Natural Language Processing (NLP) is a branch of artificial intelligence that focuses on enabling computers to understand, interpret, generate, and respond to human language in a meaningful way.
Intent Recognition
Intent recognition is the process by which an AI system identifies the underlying goal or purpose of a user's input, enabling it to select the appropriate response or action rather than responding only to surface-level phrasing.
Multimodal AI
Multimodal AI refers to artificial intelligence systems that can process and generate multiple types of data, such as text, images, audio, and video, within a single model or integrated pipeline.
