企業向けAIは、一般的なテストで正解できても、長い会議履歴や部署間の複雑なやり取りを正確に扱えるとは限らない。Microsoft Researchは10月30日、顧客の実データを使わずに、組織図、メール、会議、業務の時間的変化を再現する合成データ評価基盤を公表した。社内AIの品質をどう測るか、企業の導入担当者にも参考になる取り組みだ。
30秒でわかる / THE SIGNAL
企業向けAIは、一般的なテストで正解できても、長い会議履歴や部署間の複雑なやり取りを正確に扱えるとは限らない。Microsoft Researchは10月30日、顧客の実データを使わずに、組織図、メール、会議、業務の時間的変化を再現する合成データ評価基盤を公表した。社内AIの品質をどう測るか、企業の導入担当者にも参考になる取り組みだ。
実在の顧客情報を使わず、企業の複雑さを再現
Microsoft Researchが2026年10月30日に公表した「Industry Evaluation Data Generation Platform」は、Microsoft Copilotを実際の業務に近い条件で評価するための社内基盤だ。企業で交わされる会議、メール、文書、部署構成や担当者の関係を、実在の顧客データを入力せず合成する。一般的な質問応答の正答率だけでなく、会議の決定事項を正確に抽出できるか、複数の資料をまたいで情報を探せるかなど、業務に即した検証を狙う。Microsoftは、個人を特定できる情報や有害な内容を避ける自動検査も組み込んだと説明する。
公開情報で「架空の会社」に現実味を持たせる
架空の組織をもっともらしくするため、米国労働省の職業情報データベースO*NET、オンライン求人情報、米証券取引委員会への提出書類などの公開情報を参照する。職種、報告系統、部門構成、企業規模を調整し、製薬、資本市場、IT・ソフトウェアの3業種にまたがる合成環境を生成した。各環境には数百人規模の架空の利用者と、時系列に変化する会議・連絡履歴がある。たとえば「先週の会議で何が決まったか」という質問では、日時と関連文書のつながりが重要になる。単発の問題集では捉えにくい失敗を見つけることが目的だ。
評価データ作成を自動化、内部指標は39％改善
Microsoftは、業務の質問を業種に合わせて生成・検証するパイプラインも整備した。社内で使う合成データの複合品質指標は初期手法と比べ39％改善し、評価データセットの作成は数日を要する手作業から自動実行に移ったと報告している。評価データセット1件あたり約10万ドル、プロジェクト全体で約30万ドルの節約という数字も示す。ただし、これらはMicrosoft自身による内部評価・試算であり、Copilot利用企業の生産性が39％向上したことや、すべての企業で同額のコスト削減が実現することを意味しない。
企業のAI導入担当者が学べること
企業がAIを導入する際には、汎用ベンチマークだけでなく、自社の業務で実際に起こる質問、権限、部署間の引き継ぎ、古い資料と新しい資料の混在を評価する必要がある。今回のMicrosoftの取り組みは、実データの取り扱いリスクを抑えつつ、テストを繰り返せる設計の一例だ。一方、合成環境の品質が高くても、実環境での誤回答や権限問題が完全に再現されるとは限らない。WORK SIGNALとしては、導入前の模擬評価に加え、運用開始後の監査、利用者からのフィードバック、実務上の成果測定を組み合わせることが重要だと考える。