# クラウドを使わず「相槌を打つ」音声AI｜完全ローカルの全二重音声会話Aizuchiの構成と実測｜株式会社テクノスフィア

> 音声も会話の内容もクラウドに出さず、1台のミニPCだけで動く全二重の音声会話システム「Aizuchi」。相槌・割り込み・日本語の言いさし検出の作り方と、体感の応答0.44〜0.7秒などの実測値、当社のAI電話自動応対TechnoVoiceへの応用を解説します。

URL: https://technosphere.co.jp/blog/aizuchi-local-full-duplex-voice-ai

** 目次
1. 音声AIの「会話らしくなさ」はどこから来るか
2. 方式の選択：全二重モデルか、組み合わせ型か
3. 1台のミニPCの中の構成と速さ
4. 人と話している感じを出す3つの工夫
5. 実測結果と、まだ足りないこと
6. 製品への応用：AI電話自動応対TechnoVoice
7. よくある質問（FAQ）
8. まとめ
   ** 本記事について

本記事は、当社の音声会話システム「Aizuchi」の**試作（PoC）段階**の記録です。数値は当社の検証機で、録音した合成音声をマイク入力として送り、**各条件3回ずつ**計測した値です。実際の人の声・マイク・スピーカーでの評価はこれから行います。

## 音声AIの「会話らしくなさ」はどこから来るか

 話しかけてから返事が来るまでの、少し長い沈黙。考えながら「えーと、それで」と言いかけたところで始まってしまう返事。こちらが「いや、そうじゃなくて」と言っても止まらない読み上げ——音声AIと話すと、意外と「会話」になっていないと感じる場面があります。

 原因の多くは、AIが**「聞く」と「話す」を交互に切り替えている**ことにあります。人どうしの会話では、相手が話している間も聞き続け、話の切れ目で「うん」と相槌を打ち、遮られたらすぐに口を止めます。このように話しながら聞き続ける方式を**全二重**と呼びます。

 当社は、この全二重の会話を**クラウドに一切つながず**、社内に置いた1台のPCだけで実現するシステム「Aizuchi（相槌）」の開発を始めました。音声や会話の内容を外に出せない業務でも使えるようにするためです。

## 方式の選択：全二重モデルか、組み合わせ型か  （図: 向かい合ったマイクとスピーカーの間を、青とオレンジの光の音波が同時に逆向きに流れている写真風のイメージ画像）

 全二重の音声会話を作る方法は、大きく2つあります。1つは、音声を直接聞いて音声で返す**全二重の音声モデル**（Moshi系）。もう1つは、音声認識・言葉の生成（LLM）・音声合成を**組み合わせる方式**（カスケード型）を、制御の工夫で全二重にする方法です。
| 観点 | 全二重の音声モデル | 組み合わせ型（採用） |
| **会話の自然さ** | 相槌や声の重なりをモデルが直接生み出し、とても自然 | 相槌や割り込みを制御の層で作り込む必要がある |
| **受け答えの賢さ** | 音声モデルの規模に縛られ、知識や指示への従い方は弱め | LLMを自由に選べる |
| **社内データ・ツールとの連携** | 難しい | 検索や業務システムの呼び出しをそのまま使える |
| **商用利用** | 日本語モデルには非商用ライセンスのものもある | 商用利用できる部品で構成できる |
| **声の差し替え** | 学習済みの声に固定 | 音声合成を替えれば自由 |

 全二重の音声モデルは自然さでは優れていますが、当社の検証機で実時間に間に合わせるのは難しいと見積もりました（この点は**見積もりで、実測はしていません**）。業務で使うには受け答えの正確さと社内データとの連携が欠かせないため、**組み合わせ型を全二重にする方式**を選びました。

## 1台のミニPCの中の構成と速さ  （図: 白いデスクの上の小型のミニPCの通気口から青い光が漏れ、デスクに音声の波形が映っている写真風のイメージ画像）

 検証機は、**AMD Ryzen AI Max+ 395**（16コア）とメモリ128GBを積んだミニPCです。CPUと内蔵GPU（Radeon 8060S）でメモリを共有できるため、大きめのLLMもこの1台で動きます。役割は次のように分けました。
| 役割 | 使ったもの（実行場所）と実測 |
| **通話** | ブラウザのWebRTC（エコーキャンセル付き） |
| **言い終わりの
判定** | Silero VAD、smart-turn v3、日本語の言いさし検出（当社開発）（CPU） |
| **音声認識** | ReazonSpeech k2-v2、日本語専用（CPU）
実測：約4秒の発話を0.10〜0.14秒で認識 |
| **受け答えの
生成** | gemma-4-26B-A4B、llama.cpp（GPU）
実測：最初の文字まで0.09〜0.13秒 |
| **音声合成** | AivisSpeech＝人間らしい声（GPU）／VOICEVOX＝速い（CPU）
実測：短い文で約0.7秒／約0.24秒 |

 音声認識は日本語専用のモデルをCPUで動かしても十分に速く、GPUは言葉の生成と音声合成に回しました。計測してみると、**いちばん時間がかかるのは音声合成の最初のひと区切り**でした。そこで、読点で文を区切り、最初の区切りから先に合成して話し始めています。

 つまずいた点もあります。今回使ったLLMは、設定によっては答える前に「考える」モードに入ります。ツールで調べ物をした後の受け答えでこのモードに入ると、考えるだけで出力の上限を使い切り、**AIが黙ってしまう**ことがありました。毎回の呼び出しで考えるモードを止める指定を入れて解消しています。

## 人と話している感じを出す3つの工夫
- **言いさしを待って相槌を打つ**——「〜なんですけど、」「〜だから、」で一息ついたとき、声の抑揚だけで判定すると、言い終わったと誤判定しがちです。そこで、認識した文が接続の言葉や言いよどみで終わっていれば、返事を最大1秒保留し、その間に「うん」と相槌を打って続きを待つようにしました。日本語の会話に合わせた当社独自の処理です。
- **まず受け応えをしてから本題に入る**——人も、返事の前に「そっかぁ」「えっとね」と言ってから考えをまとめます。Aizuchiも、言い終わりを判定した直後に、あらかじめ合成しておいた受け応えをすぐに再生します。つらい話には「そっかぁ」、嬉しい話には「へえー！」、質問には「えっとね」と、発話の内容で選び分けます。これで**最初の声が出るまでの体感時間は、約1.1〜1.4秒から0.44〜0.56秒に縮みました**。
- **相手の話し方に合わせる**——くだけた話し方にはくだけた口調で、丁寧な話し方には丁寧語で返します。声は、アニメ調ではない大人の自然な声（営利利用が認められたもの）を既定にしました。

 ユーザーが話し始めたら、AIはすぐに話すのをやめます（割り込み）。ブラウザのエコーキャンセルで、AI自身の声を人の声と取り違えにくくしています。

## 実測結果と、まだ足りないこと

 ブラウザの代わりに通話するテスト用のプログラムで、録音した合成音声を送り、返ってきた音声を録音して測りました。試作段階の目標は「話し終わってからAIの声が出るまで1.5秒以内」「割り込みで0.5秒以内に止まる」です。
| 項目
（各3回） | 速さ重視の声
（VOICEVOX） | 人間らしい声
（AivisSpeech） |
| **最初の声
（受け応え）** | 0.44〜0.56秒 | 0.6〜0.7秒 |
| **本題が
始まるまで** | 1.06〜1.33秒 | 1.2〜2.2秒 |
| **割り込みで
止まるまで** | 0.38〜0.46秒 | 0.44〜0.46秒 |
| **言いさしの
後の一息** | 2回とも相槌が出て、
途中で返答を始めなかった |

 受け応えのおかげで、最初の声と割り込みの目標はどちらの声でも満たしました。一方で、課題も残っています。
- **本題までの間**——受け応えの後、本題が始まるまでに間が残ります。人間らしい声では本題の開始が最大2.2秒かかり、速さ重視の声より約0.7秒遅くなります。音声合成の高速化が次の課題です。
- **実際の人の声での評価**——ここまでの計測は合成音声によるもので、話し方の癖や雑音のある実際の会話での評価はこれからです。
- **相槌のタイミング**——一息ついてから相槌まで約0.5〜0.7秒かかっています。人は0.3〜0.5秒ほどで打つと言われており、もう少し早めたいところです。

## 製品への応用：AI電話自動応対TechnoVoice  （図: 白いデスクの上の白いオフィス用電話機の受話器から、青い光の音声の波形が立ちのぼっている写真風のイメージ画像）

 Aizuchiの開発で得た、自然な音声会話のための知見は、当社のAI電話自動応対システム「[TechnoVoice](https://technosphere.co.jp/technovoice)」にも応用しています。TechnoVoiceは、お客様のFAQやマニュアルをもとに、かかってきた電話に24時間自動で応対するシステムです。

 電話の応対では、相手の話を最後まで聞くこと、言い終わりを見誤らないこと、相手を待たせないことが、そのまま応対の品質になります。**Aizuchiで確かめてきたことは、電話の自動応対の品質を高める取り組みに直結しています**。

## よくある質問（FAQ）   Q. 全二重の音声会話とは何ですか？ A. 話しながら同時に相手の声を聞き続ける会話のことです。一般的な音声アシスタントは「聞く」と「話す」を交互に切り替えますが、全二重ではAIが話している途中でも人の声を聞いているため、遮られたらすぐに止まり、話の途中で相槌を打つこともできます。 Q. 応答の速さはどうやって測ったのですか？ A. ブラウザの代わりに通話するテスト用のプログラムを作り、録音しておいた合成音声をマイク入力として送り、返ってきたAIの音声を録音して、発話の終わりからAIの声が出るまでの時間を測りました。各条件3回ずつの計測です。実際の人の声とマイクでの評価はこれから行います。 Q. 会話の内容が外部に送られる心配はありませんか？ A. 音声認識・会話の生成・音声合成はすべて社内の1台のPCで処理し、音声や会話の内容はクラウドに送りません。最新情報を調べるWeb検索を使うときだけ検索の言葉とページの取得が外部に出ますが、この機能は設定で止められ、その場合は外部と一切通信しません。

## まとめ

 クラウドを使わず、1台のミニPCだけで動く全二重の音声会話「Aizuchi」を試作し、**最初の声まで0.44〜0.7秒**、**割り込みで0.5秒以内に停止**、**言いさしの後には相槌を打って待つ**ところまで確認しました。

 会話らしさは、大きなモデルだけで決まるものではありません。「まず受け応えをする」「言いかけなら待つ」といった、人が無意識にしている振る舞いを一つずつ作り込むことで、組み合わせ型でも体感は大きく変わります。

 当社は、この取り組みで得た知見を[TechnoVoice](https://technosphere.co.jp/technovoice)などの音声製品に生かしています。「音声や会話の内容を社外に出さずに、音声で応対させたい」という段階のご相談も歓迎です。
