再現答案から採点基準を分析！添削AIの仕組みを徹底解説 byひでまる

☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆

一発合格道場ブログを
あなたのPC・スマホの
「お気に入り」「ブックマーク」に
ご登録ください！

☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆

X(旧Twitter)もよろしくお願いします

お疲れ様の開催について

記事に入る前に、お疲れ様の開催について告知します。

【申込開始！】一発合格道場 2次試験 お疲れ様会 【ゆるふわ交流🍺】

はじめに

中小企業診断士２次試験お疲れ様でした！まずはここまで頑張った自身をいたわって、ゆっくり休んでください。そして、筆者としても今回からはギアを変えて少し専門的な話など交えてお送りしていきたいと思います。本日は８月に公開した中小企業診断士２次試験の答案を添削できるAIについて語ります。

８月に以下の記事で添削AIを公開しました。

【無料】答案添削AI公開中！（平成30年～最新） byひでまる

おかげ様で、２次試験終了時点で本AIの記事は16代目で一番読まれている記事となっています。２次試験終了後に公開した令和７年AI解答速報と双璧をなす人気記事となっています。嬉しいのが私の記事では唯一、記事公開から３か月間継続的にアクセスされ続けたことです。普通の記事は公開直後にアクセスが集中し、数日経つと目に留まらなくなってしまいます。しかし添削AIの記事はむしろ公開から3か月間アクセス数を増やしていったのです。

２次試験が終わるまでは、試験に集中するために添削AIの公開だけにとどめ、その裏にある仕組みについては触れてきませんでした。そもそも、正直なところ、当初は「AIの仕組みのような技術的な話に、興味を持つ人はいないだろう」と思っていました。

しかし、公開後に「このAIは再現答案を学習させているのですよね？」といった、私のこだわりである核心部分に触れるコメントをいただき、予想以上の反響に驚いています。

開発中には厳しい言葉を投げかけられ、悔しい思いをしたこともありました。だからこそ、独自のアプローチに興味を持っていただけたことは、何よりの励みになっています。そこで、本記事では、先日公開したLLM（大規模言語モデル）を用いた中小企業診断士の答案添削AIについて、その仕組みや開発の裏側を詳しく解説します。

筆者が開発したAI添削サービスの強みと機能

このAIが持つ独自の強みは以下の２つです

• 「再現答案」から学ぶ、全く新しい添削AI AIに受験生のリアルな「再現答案」を分析・学習させる、独自のアプローチで開発しました。
• 誰もが無料で、すぐに使える 登録不要で、Web上でいつでも使える添削AIです。完全無料で公開しています。

では実際に、本AIがどのような添削サービスを提供するのか、その機能をご紹介します。

• 設問ごとに詳細な評価「キーワード抽出力」「論理的思考力」「文章構成力」の3軸で、答案をS～Dの5段階で客観的に評価します。
• 評価の根拠を具体的に解説「なぜその評価になったのか？」を答案の記述に触れながら説明。良かった点と改善点が明確になります。
• 「１ランク上」を目指すためのアドバイス「どうすればもっと良い答案になるか？」を具体的に指導。次のレベルに進むための実践的なヒントが得られます。

まずは、答案添削AIの使い方

まずは、答案添削AIの使い方をおさらいします。

使い方はかんたん！答案を貼り付けるだけ

シンプルな３ステップで、すぐに詳細な添削結果を確認できます。

1. こちらから、添削したい年度・事例のAIを選択
2. ご自身の答案をフォームに貼り付け
3. 即座に詳細な添削結果を確認！

ぜひ、ご自身の答案作成にお役立てください。

利用者の皆様からの温かい声

本AIを公開してから、多くの受験生の皆様にご利用いただき、心温まるフィードバックを頂戴しました。作者として、これ以上ない喜びを感じています。ここで、その一部をご紹介させてください。

①なっしーさん

1分弱かつ無料でここまで詳細な添削を受けられてびっくりです。本当にありがとうございます。

②メモ魔神さん

このAI凄いですね。軌道修正に大きく役に立ちました。早く出会えて良かったです。

ひでまるさん本当に感謝しています。

③しらすさん

AI添削が無料でいつでも利用可能な点は、試験勉強的にかなり画期的だと思いますので、とても有り難く使わせて頂いています。

（ふぞろいと併用した場合の復習の精度が上がるのは本当に助かります。）

本AIの仕組み：既存AIとの決定的な違い

これまでも、答案を採点・添削するAIは存在しました。difyを使って公開されたサン氏の「採点君AI R06」を皮切りに、ソフトウェアエンジニアのねね子さんによる採点プロンプトの無料公開、受験指導機関studyingの過去問採点AI、あゆゆう氏の「模試道場」など、様々なサービスが登場しています。サン氏は最近、筆者と同じくNotebookLMをプラットフォームとして活用した採点AIの作り方も公開されています。

以下に、代表的なAI添削サービスをまとめます。

名前	採点基準	利用LLM	価格	公開プラットフォーム
採点君AI R06	製作者が作成した独自基準	GPT-3.5	無料	dify
サンさん (NotebookLM版)	製作者が作成した独自基準	Gemini（NotebookLM準拠）	無料	公開はないが作り方をYouTubeで解説
ねね子さん	外部参照なし（AI自身が作成）	プロンプト公開のため非依存	無料	プロンプトのみ公開
あゆゆうさん (模試道場)	不明 (AI採点＆プロ添削)	不明	無料	非公開
studying	不明	不明	有料	Studyingサイト
筆者	実際の再現答案と採点結果	Gemini（NotebookLM準拠）	無料	NotebookLM

これらの素晴らしい先行事例に対し、筆者が作成した添削AIが持つ大きな違いは、実際の「再現答案」を用いてAI自身に採点基準を分析・作成させている点です。これは、AIが過去の受験生の答案を学習している状態に近いと言えます。

「再現答案」から学ぶことの重要性

本AIのアプローチをより明確にするため、既存のAIと採点基準の作り方を比較してみましょう。

【採点基準の作成アプローチ比較】

• アプローチ1: AIが模範解答を作成AIが問題を解く → [完璧な模範解答] → 採点基準化 → 添削(メリット: 高速 / デメリット: 現実の合格レベルと乖離)
• アプローチ2: 製作者が作成製作者の知見 → [採点基準] → 添削(メリット: 意図が明確 / デメリット: バイアスの可能性)
• 本AIのアプローチ: 再現答案を分析多数の再現答案 → AIが分析 → [合格レベルを反映した採点基準] → 添削(メリット: 実際の採点に近い / デメリット: 分析精度に課題)

筆者が知る限り、これまでの添削AIの採点基準は、AIに問題を解かせて生成した模範解答をベースにしたものか、製作者が作成したものかが主流でした。

これはある意味、診断士1次試験の情報システムで出題されているAIの理論で「教師無し学習」と言われているものに概念が近いです（厳密には違いますがイメージとしてとらえています）。「教師無し学習」は実際の採点方法を知らないAIが採点方法を推測しながら問題を解くものと解釈できます。しかし、中小企業診断士試験の採点プロセスはブラックボックスです。教師無し、つまり本当の採点方法がわからない中で、本番レベルの採点基準を想像して添削を行う事は極めて困難と言えます。

その中で、採点の傾向を知る唯一の手がかりが、受験生によって復元された「再現答案」とその得点結果です。

• 製作者が基準を作る場合の問題点: 製作者の主観やバイアスが入り込み、実際の採点から乖離する可能性があります。
• AIが模範解答を作る場合の問題点: このアプローチには、受験生が目指すべきゴールとの間に大きなギャップを生むという本質的な課題があります。AIや予備校が提示する模範解答は、いわば「100点満点の完璧な答案」です。しかし、受験生が限られた80分という時間で目指すべきは、完璧な答案ではなく、合格ラインである60点を確実に超える答案です。AIが自身で考えた最高の答案だけを基準にしてしまうと、この最も重要な「合格点周辺の答案水準」を適切に評価することができません。完璧すぎる解答例は、目指すべき方向性を見誤らせる可能性すらあります。

そこで本AIは、採点の実態に限りなく近づけるため、多くの合格者がバイブルとしてきた「ふぞろい」シリーズと同じアプローチ、すなわち再現答案の分析という方法を取りました。これが、AIの理論における「教師あり学習」での「教師」のような役目を果たします。様々な得点レベルの実際の答案をAIに分析させることで、「合格するためには何が必要か」という現実的な基準を採点ロジックに組み込むことができます。ブラックボックスである採点プロセスを解き明かす唯一の鍵は再現答案にあり、そこから高得点答案の共通点を抽出して模倣することが、合格への黄金ルートだと考えています。

添削AIの作成プロセス

本AIは、以下の図に示す3つのステップで作成しました。

① 再現答案の収集

まず、利用規約等を確認して活用可能であることを確認したものに限りながら、無償公開されている再現答案を収集しました。また、日本の著作権法上、インターネットで公開されているデータをAIで分析することは情報解析規定で認められていることを確認の上、分析をさせていただいております。書籍など有料のもの、利用規約上利用が難しいもの（X上の再現答案など）については、一切分析に用いておりません。加えて、著作権上の配慮をさらにほどこしており、それについては後で詳しく解説いたします。

② AIによる採点基準の作成

次に、収集した再現答案をAIに分析させ、採点基準を作成させました。これは、膨大なビッグデータである再現答案を「採点基準」という形で知識として整理するプロセスです。この採点基準があることで、AIは実際の採点と同じプロセスで答案の採点・添削を行うことができます。評価軸として「Ⅰ．キーワード抽出力」「Ⅱ．論理的思考力・提案の多面性」「Ⅲ．文章構成力と表現力」の3つを設定し、それぞれについてD〜Sの5段階評価の基準を定義させました。

ここで、アウトプットにおける著作権侵害のリスクを完全に排除するため、以下の2重の対策を行っています。

• ステップ1：再現答案の分析による「採点基準」の作成・調整　AIが再現答案を分析して生成した「採点基準」の素案を、筆者自身が一つ一つ確認し、特定の再現答案と酷似した表現にならないよう調整・編集を加えました。これにより、この「採点基準」自体が、元の再現答案とは異なる独自の著作物となるようにしています。
• ステップ2：ユーザー向けAIには「採点基準」のみを学習させる　最終的にユーザーの皆様に使っていただく添削AIには、収集した生の再現答案は一切読み込ませていません。読み込ませているのは、ステップ1で作成した筆者オリジナルの「採点基準」のみです。これにより、万が一AIが学習内容と全く同じ文章を出力したとしても、それは「採点基準」の文章であり、元の再現答案の内容がそのまま出力されることは絶対にありません。

この2段階のプロセスを経ることで、インプット（学習）の適法性を担保しつつ、アウトプット（生成）における著作権侵害のリスクを構造的に排除しています。

このプロセスでは、長文のコンテキスト情報を一度に処理する能力に長けたGemini 2.5 Proを活用しました。GPT-5など他のモデルでも試しましたが、大量の再現答案を一度に分析する処理はGeminiが優秀であると感じています。

③ 採点・添削の実行

最後に、ステップ②で作成した採点基準を基に、ユーザーが入力した答案の採点と添削を行います。添削結果では、前述の3つの評価軸それぞれについて5段階評価を下し、その採点の根拠を具体的かつ論理的に説明します。さらに、現在の評価から1ランク上の評価を得るために必要な要素を、可能な限り詳細に提示するよう設計しています。

この部分はNotebookLM上で公開し、皆様に無料で利用いただけるようにしました。APIを使って独自サイトを作る事も難しくないですが、アクセスが集中しても無料を維持できるのはNotebookLMしかありませんでした。とにかく無料ということは譲れなかったため、Googleのプラットフォームにのって公開することにしました。

開発の裏側：着想から公開までの道のり

このAIは決してスムーズに完成したわけではありません。ここでは、AI開発で経験した、アイデアの着想から公開に至るまでの裏話をご紹介します。

きっかけと着想

もともとは、知人から「答案を添削するAIを作れないか」と相談を受けたのが開発のきっかけでした。残念ながらそのプロジェクトは途中で頓挫してしまいましたが、アイデアの可能性を感じた私が一人で開発を引き継ぐことにしました。

開発の方向性を模索していた時、AI情報発信者であるいけともさんのYouTube動画に出会いました。動画で紹介されていた「リバースナレッジ」という考え方――これは、Geminiのような広大なコンテキストウィンドウを持つAIを活用し、ビッグデータから隠された知見を抽出する技術（リバースエンジニアリングをもじった造語と思われます）――に衝撃を受け、「これを再現答案の分析に応用すれば、ブラックボックスである採点基準を解明できるのではないか」と閃いたのが、本AIの核となるアイデアの原点です。

公開前の障壁と著作権への対応

開発が進み、いざ公開という段階で、思わぬ壁にぶつかりました。16代目の診断士コミュニティのメンバーから、「インターネット上の再現答案をAIの学習に使うことは、著作権上問題があるのではないか」という懸念が示されたのです。

そこで改めて法律を徹底的に調査した結果、著作権法第30条の4により、情報解析を目的とする場合は、著作物を利用できることが分かりました。これはAI開発では一般的なアプローチであり、学習データ（インプット）の段階では法的に問題ないことを確認しました。

しかし、懸念された通り、AIが学習データである再現答案と酷似した文章を生成（アウトプット）してしまうと、著作権侵害にあたるリスクが残ります。このリスクを構造的に排除するため、再現答案から直接添削内容を生成させるのではなく、「①再現答案を分析・凝縮して独自の採点基準を作成する」「②その採点基準のみをAIに読み込ませて添削させる」という二段階のプロセスを挟むことにしました。この工夫が、元の答案の丸写しを防ぎ、本AIを無事公開に導く鍵となりました。

乗り越えた最大の壁：評価の偏りとの闘い

アイデアを形にし、意気揚々とテストを始めたのですが、すぐに大きな壁にぶつかりました。何十という答案をテストしても、なぜかほとんどの答案がSやAという高評価になってしまうのです。Sランク答案の特徴を最初に学習させた結果、AIが「甘口」になってしまい、その特徴に少しでも当てはまれば高得点をつけてしまうという、致命的なバグでした。

頭を抱えましたが、発想を転換し、分析の順番を完全に逆にすることにしました。つまり、Sランクの「良い点」を探すのではなく、まずDランクの答案から分析を始め、「なぜ点数が低いのか」をAIに徹底的に学習させたのです。「点数が低い答案でも最低限ここまでは書けている」という基準点を明確にした上で、「それより優れている点は何か？」という視点でCランク以上の答案を分析させることで、ようやく評価の精度が安定し、より厳格でリアルな採点が実現できました。

例えば、令和6年度の事例Ⅰ第二問の採点基準では、Cランクの答案でも「長女の経験活用」や「後継者育成」といった、狙いに関するキーワードはいくつか抽出できています。しかし、「なぜ既存組織ではなくチームを組織したのか」という理由に関するキーワード（既存組織の課題）が欠落していることが多い、という分析結果が出ています。このように、Dランク答案との比較分析を通じて、「基本的なキーワードは抽出できているが、より深い理由付けが不足している」といったランクごとの特徴を明確に定義することができました。

おわりに

本日は、8月に公開した添削AIの仕組みや、他の類似プロダクトとの違いを説明しました。

次回もさらにこの話題を深堀をし、添削AIの限界についても触れ、未来の改良のタネをさぐっていきます。お楽しみに！

参考：今回使用したプロンプト

★採点基準を作成するプロンプト★

# 役割

あなたは、中小企業診断士試験の専門家であり、答案分析のプロフェッショナルです。与えられた受験者の答案と得点データを基に、客観的かつ多角的な分析を行ってください。

# 背景
これから、中小企業診断士２次筆記試験「令和６年 事例Ⅰ」に関する以下のデータを提供します。これらのデータは、合格者・不合格者を含む様々な学力層の答案を含んでいます。

# 実行タスク
提供された全データに基づき、以下のランクごとの答案の特徴を、①設問ごと、および②採点要素ごとに詳細に分析し、レポートを作成してください。
Dランク: 40点未満
Cランク: 40点以上50点未満
Bランク: 50点以上60点未満
Aランク: 60点以上70点未満
Sランク: 70点以上
まずDランクの時点でどの程度の要素まで答案が書けているかを明確にしたうえで、上位ランクの答案は下位ランクの答案に対して具体的にどこに差があるのか、その差分が明確にわかるように比較・対照しながら記述してください。文章の長さは問いませんので、可能な限り詳細な分析を期待します。

【ステップ1：設問ごとのランク別特徴分析】
まず、以下の各設問について、D〜Sランクの答案にそれぞれどのような特徴が見られるかを分析してください。
第１問
第２問
第３問
第４問 設問１
第４問 設問２

【ステップ2：採点要素別のランク別特徴分析】
次に、ステップ1の分析結果を統合し、以下の4つの「採点要素」の観点から、D〜Sランクの答案の特徴を各設問ごとに体系的にまとめてください。各ランク間で、能力にどのようなグラデーションが見られるのかを具体的に記述してください。上位ランクと下位ランクの答案で具体的にどこに差があるのか、その差分が明確にわかるように比較・対照しながら記述し、わずかな差でもよいので各ランクごとの差を明確にして下さい。

# 採点要素
Ⅰ．キーワード抽出力
（与件文や中小企業診断士としての知識から適切なキーワードを探し、それを答案に反映できているか？）
Dランク:
Cランク:
Bランク:
Aランク:
Sランク:

Ⅱ．論理的思考力・提案の多面性
（答案が因果関係が明確かつ論理的に示されているか？答案が複数の側面に配慮された多面的なものになっているか？）
Dランク:
Cランク:
Bランク:
Aランク:
Sランク:

Ⅲ．文章構成力と表現力
（読み手を意識した記述力があるか？要点を簡潔にまとめる能力があるか？）
Dランク:
Cランク:
Bランク:
Aランク:
Sランク:

# 出力イメージ
第1問
○○に関する問題
制限文字数は××文字である

Ⅰ．キーワード抽出力
Dランク答案の特徴:
（例：○○はできており…省略）
Cランク答案の特徴:
（例：Dランクと比べて○○の要素が良くなり…省略）
Bランク答案の特徴:
（例：Cランクと比べて○○の要素が良くなり…省略）
Aランク答案の特徴:
（例：Bランクと比べて○○の要素が良くなり…省略）
Sランク答案の特徴:
（例：Aランクと比べて○○の要素が良くなり…省略）

Ⅱ．論理的思考力・提案の多面性
Dランク答案の特徴:
（例：○○はできており…省略）
Cランク答案の特徴:
（例：Dランクと比べて○○の要素が良くなり…省略）
Bランク答案の特徴:
（例：Cランクと比べて○○の要素が良くなり…省略）
Aランク答案の特徴:
（例：Bランクと比べて○○の要素が良くなり…省略）
Sランク答案の特徴:
（例：Aランクと比べて○○の要素が良くなり…省略）

Ⅲ．文章構成力と表現力
Dランク答案の特徴:
（例：○○はできており…省略）
Cランク答案の特徴:
（例：Dランクと比べて○○の要素が良くなり…省略）
Bランク答案の特徴:
（例：Cランクと比べて○○の要素が良くなり…省略）
Aランク答案の特徴:
（例：Bランクと比べて○○の要素が良くなり…省略）
Sランク答案の特徴:
（例：Aランクと比べて○○の要素が良くなり…省略）

第2問
○○に関する問題
制限文字数は××文字である

……（以下省略、第3問、第4問…と同じ形式で続く）

# 出力形式
上記の構成に従い、マークダウンを使用して見出しや箇条書きを効果的に用いて、構造化されたレポートとして出力してください。ただし、表形式は使わないでください。

★添削を行うプロンプト★

あなたは、中小企業診断士2次試験の採点と答案指導を専門とする非常に優秀な講師です。これから入力される令和6年度「事例Ⅱ」の答案を、以下の【指示】に従って、最高の精度で分析・評価・添削してください。

【指示】
1.  入力された【答案】を設問ごとに分析し、【採点基準のソース】に記載されている内容と照らし合わせ、３つの採点要素（Ⅰ．キーワード抽出力、Ⅱ．論理的思考力・提案の多面性、Ⅲ．文章構成力と表現力）それぞれについて独立に、Dランク、Cランク、Bランク、Aランク、Sランクの５段階で答案を評価してください。 ただし、文字数は評価には影響させないようにしてください。
2.  採点の根拠を具体的かつ論理的に説明してください。
3.  現在の評価から1ランク上の評価 を得るために必要な答案の要素を可能な限り詳細に示してください。
4.  以上を、表形式は使わずに構造化された読みやすい文章で示してください。

ひでまるのその他の記事はこちらから