マルチモーダルサポートコパイロット
サポート担当がスクリーンショット、音声メモ、チケット本文を同時にアップロードすると、緊急度を即座に分類し、原因を切り分け、関連するナレッジ記事を提示し、返信文まで書き上げるコパイロット。
担当領域
AIエンジニアリングをリード。マルチモーダルの統合パイプラインの設計、ナレッジベース検索の実装、返信の下書きエンジンの構築を担当した。
期間
3か月
年
2026
技術スタック
ステータス
稼働中サポート担当がスクリーンショット、音声メモ、チケット本文を同時にアップロードすると、緊急度を即座に分類し、原因を切り分け、関連するナレッジ記事を提示し、返信文まで書き上げるコパイロット。
サポートチームは1日200件以上の問い合わせを、スクリーンショット、音声メッセージ、テキストの形で受け取り、緊急度の判定、ナレッジベースの検索、返信の作成をすべて手作業で行っている。一次対応の担当者は複雑な1件に45分をかけ、その時間の60%は決まったパターンをたどる調査作業に消えている。
スクリーンショット(GPT-4o Vision)、音声メモ(Whisper v3)、チケット本文を同時に処理し、1つの文脈へ統合するマルチモーダルなAIコパイロットを構築した。緊急度をP0〜P3で分類し、過去の解決事例のベクトル検索で根本原因を突き止め、返信文まで書き上げる。一次対応チケットの87%について、解決までの時間を45分から4.2秒へ短縮した。
マルチモーダル入力の統合
スクリーンショット(GPT-4o VisionがUIの状態とエラーメッセージを読み取る)、音声メモ(Whisper v3で文字起こし)、テキストを同時に処理し、すべてを診断用の1つの文脈へまとめる。
緊急度の自動判定
PydanticAIで構造化したP0〜P3の分類を確信度付きで返す。ユーザーへの影響、システムの状態、類似事象の過去の深刻度を踏まえて判断する。
ナレッジベースの検索
Pineconeを使い、1万件以上の過去の解決事例とナレッジ記事をハイブリッド検索する。MMRでリランキングするため、似た答えばかりにならず多様な候補が並ぶ。
返信文の自動下書き
チームの語り口や書式に合わせた返信文を丸ごと下書きし、関連するナレッジ記事へのリンクと手順を添える。
このプロジェクトを形づくった技術選定と、それぞれを選んだ理由。
Gemini 2.5 Pro
AI・ML200万トークンを超える文脈長を活かせるため採用した。会話履歴、ナレッジ記事、マルチモーダルな入力を分割せずに1つのプロンプトへ収められる。Claudeの20万トークンでは複雑な文脈管理が必要だった。
GPT-4o Vision
AI・MLスクリーンショットの解析ではUI要素の認識精度が高いため、Gemini VisionではなくGPT-4oを選んだ。検証では、崩れたフォーム要素を他より23%多く正しく特定した。
Pinecone
データマネージドなスケーリングとメタデータでの絞り込みが必要だったため、ナレッジ検索にはpgvectorではなくPineconeを選んだ。1万件以上の記事が毎日更新される状況でも、リアルタイムなインデックス更新によりHNSWの再構築が不要になった。
PydanticAI Schemas
AI・ML緊急度の分類、対応手順、確信度について出力スキーマを強制するためにPydanticAIを使った。「LLMが正しい書式で返してくれることを祈る」という状態を完全に排除できる。
並列処理と構造化された診断出力を備えた、マルチモーダル統合のパイプライン。
入力処理
スクリーンショット → GPT-4o Vision / 音声 → Whisper v3 / テキスト → そのまま渡す(いずれも並列)
文脈の統合
各モダリティの出力を、エンティティ抽出とともに1つの診断文脈へマージ
ナレッジ検索
Pinecone(過去の解決事例とナレッジ記事)をハイブリッド検索 → MMRでリランキング
診断
Gemini 2.5 Proが統合した文脈と検索結果を分析 → P0〜P3の分類と根本原因を出力
返信の下書き
PydanticAIが対応手順、ナレッジへのリンク、確信度を含む返信を構造化
開発中にぶつかった難所と、どう乗り越えたか。
モダリティ間の文脈のすり合わせ
スクリーンショット、音声、テキストは同じ問題を別の角度から説明していることが多い。AIはこれを3つの別問題として扱い、28%の割合で矛盾した診断を出していた。
各モダリティからエンティティ(エラーコード、UI要素、ユーザーの操作)を抽出し、推論用のLLMへ渡す前に1つの問題グラフへまとめる文脈統合層を作った。信号が食い違う場合は明示的にフラグを立てる。
矛盾した診断の割合は28%から3%へ下がった。今ではマルチモーダルなチケットのほうが、単一モダリティより正確な回答を得られている。
返信のトーンの一貫性
AIの下書きはチームに根づいた語り口に合わず、あるチームには硬すぎ、法人顧客向けには軽すぎた。担当者が毎回書き直す時間が発生していた。
few-shotでトーンを合わせる仕組みを入れた。導入時にチームから10件の返信例を受け取り、そこからトーンのベクトルを抽出して生成時のプロンプトへ含める。丁寧さ、絵文字の使い方、文の組み立てが揃うようになった。
AIの下書きがそのまま採用される割合は34%から78%へ上がった。編集距離も平均65%減った。
