TDSEと三菱総合研究所、日本語のビジネス下でAIがPCを操作する「PC操作エージェント技術」の有効性を確認

TDSE株式会社
株式会社三菱総合研究所

TDSE株式会社（本社：東京都新宿区、代表取締役社長：東垣 直樹、以下 TDSE）と株式会社三菱総合研究所（本社：東京都千代田区、代表取締役社長執行役員：籔田 健二、以下 MRI）は、人間の指示を受けたAIがPCを操作する「PC操作エージェント技術」が日本語のビジネス向けにも有効であることを確認しました。今後、お客さまの実務でのPC操作エージェント適用に向けたコンサルティングや業務実装支援を開始します。

1.背景・経緯

PC操作エージェント（GUIエージェント）は、人間の指示に基づいてAIがマウスやキーボードを使ってPCを操作する技術です。この技術を搭載したソフトウェアは、商用・オープンソース含めすでにさまざまな種類が誕生しビジネス用途での活用が期待されています。一方で、日本語のビジネス利用下を対象とした検証データが少なく、その品質が十分に検証されていませんでした。

TDSEのデータテクノロジーラボとMRIのAIコンサルティング本部は、共同でPC操作エージェント技術の検証を進めた結果、日本語を使用したビジネスの場での有効性を確認しました。

図表1 : PC操作エージェントの動作イメージ

2.検証方法・結果

日本語でのビジネス利用下におけるPC操作エージェントの品質を検証するため、ビジネスの場で多く見受けられるシステム設定や事務手続きを想定した検証データと検証環境を準備し、代表的な商用ソフトウェアとオープンソースソフトウェアの性能を検証しました（図表2）。

検証の結果、利用用途や対象システムの画面構成によっては実務適用の検討が可能な水準に達していることが確認できました。画面やボタン名から機能が読み取れ、具体的な指示が可能な場合、正しい操作を行うことが可能です。オープンソースのPC操作エージェントについても、業務フローによっては一定の能力が確認できました。適切な環境を用意することで機密性の高い情報に対しても適用できる可能性があります。

以上から、PC操作エージェントを活用することで、RPA^※1等の既存技術とは異なり、特別な設定を行うことなく、システム上におけるさまざまな業務を自動化することが可能となります。

また、ビジネス用途を想定し、それに即したベンチマークの設計・構築を行ったことで、実行環境の条件、タスクの設計、評価手法、再現性の確保など適切な評価をするうえで重要な要素に対する知見やノウハウが得られました。この知見やノウハウに関しても実務での活用が期待できます。

詳細は技術Blogをご参照願います。
・ AIが自ら画面を操作する時代がすぐそこに ― GUIエージェントの独自ベンチマーク構築と検証、実務適用への展望（TDSE　2026年2月10日）
・ AIブログ｜第12回：GUIエージェント（PC操作エージェント）の検証と実務適用可能性（三菱総研が推進するDX事業　2026年2月10日）

内容	説明	商用ソフトウェア	オープンソースソフトウェア
① システム設定（易）	画面構成がシンプルなシステムの設定	96 / 100	83 / 100
② システム設定（難）	ローコード開発環境の操作	15 / 100	55 / 100
③ 事務手続き（易）	画面構成がシンプルなシステムを対象とした事務手続き	95 / 100	91 / 100
④ 事務手続き（難）	画面構成が複雑なシステムを対象とした事務手続き	96 / 100	15 / 100

注1：商用ソフトウェアとして ChatGPT Agent（2025年12月時点）、オープンソースソフトウェアとして AgentS 3（2025年12月時点）を検証

注2：タスク完了率と事前設定した評価基準に基づき100点満点で評価

図表2：評価データセットと検証結果

3.今後の予定

TDSEとMRIは、今後も連携を深め、最新技術の検証や社会実装を進めます。また、今回の取り組みを通じて得られたPC操作エージェント活用やその評価に関する知見について、MRIは生成AIコンサルティングにおいて活用し、お客さまの生産性向上と業務負荷軽減に貢献していきます。TDSEは、本検証で得られた技術的知見を活かし、顧客業務に適したAIエージェントサービスを創出・提供し、企業のDXと競争力強化を支援していきます。なお、本件が業績に与える影響は軽微となります。

※1:Robotic Process Automation、定型操作を自動化する仕組み

◾️TDSE株式会社　概要

1. 名称：TDSE株式会社
2. 所在地：東京都新宿区西新宿3-20-2 東京オペラシティタワー27階
3. 代表者：代表取締役社長　東垣 直樹
4. 事業内容：ビッグデータ・人工知能（AI）を活用したソリューション提供及びAI製品（AIモジュールを含む）の提供
5. 資本金：8億3,318万円
6. 設立：2013年10月17日
7. 部署：データテクノロジーラボ （データ分析・AI技術の調査・検証を推進）

◾️株式会社三菱総合研究所　概要

1. 名称：株式会社三菱総合研究所
2. 所在地：東京都千代田区永田町二丁目10番3号
3. 代表者：代表取締役社長執行役員　籔田 健二
4. 事業内容：シンクタンク・コンサルティングサービス、ITサービス
5. 資本金：63億3,624万円
6. 設立：1970年5月
7. 部署：AIコンサルティング本部 (AIやデータを活用して、お客さまの事業変革をともに推進)

■本件に関するビジネス・サービスのお問合せ
TDSE株式会社　データテクノロジーラボ

■本件に関する報道機関や投資家からのお問合せ

E-mail： Investors@tdse.jp

※現在全社テレワーク導入のため、お問い合わせはメールにて受け付けております。