AIチャットボットの
回答ミスを減らす運用の5ステップ

チャットボットは導入後の運用で品質が決まる

AIチャットボットは、導入した日が完成ではありません。実際の質問は想定と違うため、公開後に出てくる誤回答や「答えられません」を拾って直していく運用が、回答の質を左右します。

ラスタージ（Lustage）は低コストの業務システム開発とAIチャットボットの導入支援を行っています。ここでは、導入後に誤回答を減らし続けるための運用を、スプレッドシートで回す5ステップで紹介します。

ステップ1：会話ログをスプレッドシートに記録する

質問、回答、日時、利用者の評価を1会話1行で記録します。評価は「役に立った／立たなかった」の2択のボタンにすると、利用者の負担が少なく集まりやすくなります。

個人名や電話番号などが質問に含まれる場合があるため、保存前のマスクと保存期間（例：90日）を先に決めておきます。

function logChat(question, answer, rating) {
  const sheet = SpreadsheetApp.getActive().getSheetByName('ログ');
  // 電話番号らしき数字列は保存前に伏せる
  const mask = (s) => String(s).replace(/\d{2,4}-?\d{2,4}-?\d{3,4}/g, '[番号]');
  sheet.appendRow([new Date(), mask(question), mask(answer), rating || '', '', '']);
}

ステップ2：誤回答を種類ごとに分類する

「立たなかった」の評価が付いた会話を週1回見直し、原因を分類します。分類は「資料にない」「資料が古い」「質問の意味を取り違えた」「答えるべきでない内容」の4つで十分です。

原因が分かれば、直す場所が決まります。資料にないなら追記、古いなら更新、取り違えなら資料の書き方の修正、答えるべきでないなら引き継ぎ条件の追加です。

• 資料にない → 回答資料に追記する
• 資料が古い → 該当部分を更新し、更新日を書く
• 意味の取り違え → 質問の言い回しを資料に追加する
• 答えるべきでない → 担当者への引き継ぎ条件に加える

ステップ3：回答資料を更新し、更新日を残す

分類した結果をもとに、回答資料を直します。1回の更新を小さくし、更新日と変更内容を資料のシートに残すと、回答が悪化したときに原因を戻って確認できます。

料金・営業時間・規約のように変わりやすい項目は、変更のたびに更新します。それ以外は月1回の見直しを目安にします。

ステップ4：人への引き継ぎ条件を見直す

クレーム、返金、契約の判断、個別の見積もりなどは、AIに答えさせず担当者へ引き継ぐ条件にします。ログを見て、AIが答えてしまった不適切な質問があれば、その種類を条件に追加します。

逆に、引き継ぎが多すぎると担当者の負担が減らないため、引き継がれた質問のうち資料で答えられるものは、資料に追記してAIが答えられるようにします。

ステップ5：月次で件数と評価を集計して確認する

月ごとの会話数、「役に立った」の割合、引き継ぎ件数をスプレッドシートで集計します。割合が上がり、引き継ぎが減っていれば運用が効いています。

集計はGASで毎月自動でまとめることもできます。サーバー代などの月額運用費はかかりませんが、ログが数万行を超える場合は集計の方法や保存先を見直します。

// 当月の「役に立った」割合（ログ!A=日時, D=評価）
=COUNTIFS(ログ!D:D, "役に立った", ログ!A:A, ">="&DATE(2026,10,1), ログ!A:A, "<"&DATE(2026,11,1))
  / COUNTIFS(ログ!A:A, ">="&DATE(2026,10,1), ログ!A:A, "<"&DATE(2026,11,1))

まとめ

会話ログの記録、誤回答の分類、資料の更新、引き継ぎ条件の見直し、月次の集計を繰り返すことで、AIチャットボットの回答は少しずつ良くなります。運用の仕組みを含めて相談したい場合は、ラスタージにご相談ください。