なぜ評価が存在するのか
パラメータ数、学習データのサイズ、アーキテクチャだけではモデルを判断できません。これらの数値は、モデルが理論的にできること（容量）を記述するものであり、プロンプトを与えたときに実際に何ができるか（能力）を記述するものではありません。 ベンチマークは、このギャップを埋めるために存在します。良いベンチマークは以下の点に優れています。- 比較を標準化する — すべてのモデルが同じ条件下で同じ質問に答えます。
- 強みと弱みを明らかにする — 数学で高得点のモデルでも、コードでは平凡な場合があります。
- 進捗を追跡する — 新しい世代のモデルが実際に改善されたのか、単に大きくなっただけなのかを確認できます。
ベンチマークの概要
モデルカードやリーダーボードで遭遇する主要なベンチマークは以下の通りです。MMLU の詳細
MMLU の詳細
MMLU（Massive Multitask Language Understanding）は最も広く引用されるベンチマークです。高校から専門職レベルの STEM、人文科学、社会科学の 57 科目をカバーしています。各質問は 4 択の選択式です。スコア 70 は、モデルがこれらの質問の 70% を正解することを意味します。MMLU は広範な能力の指標として有用ですが、開放的な生成、創造性、指示遵守はテストしません。ほとんどのモデルカードは 5-shot スコアを報告します。
HumanEval と MBPP
HumanEval と MBPP
これら 2 つのベンチマークはコード生成を測定します。HumanEval には 164 の手書きの Python 問題があり、モデルはドキュメント文字列から関数を生成し、テストが実行されて正確性がチェックされます。MBPP はより大きく（約 1000 問）ですが、より単純なアルゴリズムタスクをカバーしています。どちらも pass@1（初回試行で正しく解決された問題の割合）を報告します。コーディング能力の比較には良いですが、実世界のプログラミングの狭いスライスしかカバーしていません。
MT-Bench と Chatbot Arena
MT-Bench と Chatbot Arena
MT-Bench は、80 のマルチターンプロンプトを通じて会話の品質を評価し、GPT-4 または人間の審査員が 1–10 段階で評価します。Chatbot Arena（LMSYS）は異なります：2 つの匿名モデルを対戦させ、ユーザーに投票させ、チェスのレーティングのような ELO ランキングを生成します。Arena のスコアは実世界のユーザーの好みを反映していますが、更新が遅く、正しくても簡潔なモデルよりも、磨かれた自信に満ちた回答を生成するモデルを好みます。
SWE-Bench
SWE-Bench
SWE-Bench は、モデルが実際の GitHub イシューをエンドツーエンドで解決できるかをテストします：イシューを読み、大規模なコードベースでバグを見つけ、正しいプルリクエストを生成します。トップモデルは検証済みサブセットの 30–50% のイシューを解決します。これは実際のソフトウェアエンジニアリング作業に最も近いベンチマークですが、極めて難しく、言語やフレームワークによって結果が大幅に異なります。
LiveBench
LiveBench
LiveBench は新しいデータを使用してテストセットを月次で更新するため、ベンチマーク汚染に耐性があります — モデルは学習中に目にしたことのない回答を記憶していることができません。数学、コーディング、推論、言語、データ分析、指示遵守をカバーしています。MMLU や HumanEval より新しいですが、より信頼性の高い指標としてますます引用されています。
ベンチマーク表の読み方
スコアは権威あるように見えますが、有用にするには文脈が必要です。数値の意味
ほとんどのベンチマークは 0 から 100 のスコアを報告し、これはモデルが正しく回答した質問の割合です。MMLU スコア 70 は、モデルが大学レベルの選択式質問の 70% を正解することを意味します。ELO レーティング（Chatbot Arena で使用）は異なります — それらは相対的なランキングであり、100 ポイントの差は、レーティングの高いモデルが頭対頭のマッチアップで約 64% 勝つことを意味します。誤差範囲
単一のベンチマークで 1–2 ポイントの差はノイズです。スコアリング手法、プロンプトフォーマット、さらにはランダムシードのばらつきでも、スコアはその程度変動します。モデル A が MMLU で 72、モデル B が 74 の場合、それらを同等とみなし、気にしている特定の能力をテストするベンチマークを見てください。汚染
ベンチマーク汚染は、テスト質問がモデルの学習データに漏洩したときに発生します。モデルはすでに回答を目にしているため、人工的に高いスコアを記録します。これはベンチマークが広く公開されるにつれて増大している問題です。LiveBench やいくつかの新しいベンチマークは、テストセットを定期的に更新することでこれに対処しています。モデルのベンチマークスコアが実世界の性能と比較して疑わしく高い場合、汚染が原因である可能性が高いです。ベンチマークがモデルの学習カットオフ日より前に公開されたか確認してください。
チェリーピッキング
単一のベンチマークでモデルを判断しないでください。公開元は、モデルが最も良く見える 1 つのスコアを強調し、弱い結果を隠すことがあります。結論を出す前に、知識、コード、数学、指示遵守など、異なる能力をカバーするベンチマークの広がりを探してください。ユースケースに重要なベンチマーク
すべてのベンチマークがすべてのタスクに重要なわけではありません。実際に必要なものをテストするものに焦点を当ててください。コーディングアシスタント
確認すべきもの： HumanEval、MBPP、SWE-Bench。
これらはコード生成とソフトウェアエンジニアリングを直接測定します。この決定では MMLU を無視してください — モデルはトリビアで高得点を出しながらも、悪いコードを書く可能性があります。
チャットボットと一般的な会話
確認すべきもの： MT-Bench、Chatbot Arena ELO、IFEval。
会話の品質は主観的なので、人間による評価のベンチマークが最も重要です。IFEval は、モデルがフォーマットと制約の指示を確実に遵守するかの尺度を追加します。
推論と分析
確認すべきもの： GSM8K、MATH、GPQA、ARC-Challenge、BigBench Hard。
これらは異なる難易度レベルでの複数ステップの論理をテストします。GPQA は最も難しく、単に良いモデルと最先端モデルを区別するのに有用です。
一般的なアシスタント
確認すべきもの： MMLU + MT-Bench + IFEval の複合。
「一般的なアシスタント」の品質を捉える単一の数値はありません。知識の広さ、会話スキル、指示遵守の全体像を得るために、すべて 3 つを確認してください。
異なる量子化でのベンチマークスコア
ベンチマークスコアは通常、完全精度（FP16 または BF16）で報告されます。ローカルで量子化されたモデルを実行すると、スコアが低下する可能性があります。量子化のコストはどのくらいか？
影響はベンチマーク、モデルサイズ、量子化レベルによって異なります。量子化がより悪影響を及ぼす場合
- 小規模モデルは大規模モデルよりも多く失う。 7B モデルを
Q4_K_Mに量子化すると、同じ量子化レベルの 70B モデルよりも多くのスコアが低下します。これは、小規模モデルには丸め誤差を吸収するための冗長性が少ないためです。 - 精密なタスクはより影響を受ける。 数学とコード生成は、一般的なチャットよりも重みの精度に敏感です。コーディングアシスタントを実行している場合は、
Q5_K_M以上を検討してください。 - I-quants は低ビット幅で役立つ可能性がある。 Imatrix 量子化（
IQ4_XS、IQ3_XXS）は重要な重みをより慎重に保持し、同じサイズの標準 K-quants と比較して 1–2 ポイント回復する可能性があります。
70B モデルを
Q4_K_M で量子化しても、ほとんどのベンチマークで完全精度の 7B モデルをほぼ常に上回ります。サイズ差が大きい場合、量子化レベルよりもモデルサイズの方が重要です。独自の評価の実行
公開されたベンチマークは出発点です。あなたの タスクで あなたの セットアップでモデルがどのように動作するかを知る必要がある場合は、独自の評価を実行してください。独自の実行を行うべきとき
- 標準ベンチマークがカバーしていないドメイン固有のユースケース（法律、医療、金融）がある場合。
- 公開ベンチマークで同様のスコアを出した 2 つのモデルを比較している場合。
- 特定の量子化またはファインチューンをテストし、実際の影響を測定したい場合。
- デプロイする前に、モデルがエッジケースを処理するかを検証する必要がある場合。
評価実行ツール
lm-evaluation-harness（EleutherAI 製）は標準的なオープンソースツールです。60 以上の学術ベンチマークをすぐにサポートし、llama.cpp、vLLM、または OpenAI 互換 API を通じて提供される任意のモデルに対して実行できます。
単純なカスタム評価
ドメイン固有の品質をテストするためにフレームワークは必要ありません。- 実際のユースケースから 50 問の質問を書きます。
- 各質問をモデルに送信し、応答を記録します。
- 各応答を 1–5 段階（または事実質問の場合はパス/フェイル）でスコアリングします。
- 比較している各モデルに対して繰り返します。
公開スコアを信頼すべきとき
以下の条件で公開ベンチマークスコアを信頼してください。- モデル公開元に誠実なレポートの実績がある場合（Meta、Google、Mistral、Qwen、Anthropic）。
- 複数の独立したソースが同様の数値を確認する場合。
- ベンチマークがモデルの学習カットオフ日より後に公開された場合（汚染リスクを低減）。
- サードパーティの量子化を使用しており、品質が大幅に低下していないかを確認したい場合。
- タスクが狭すぎて、一般的なベンチマークが適用されない場合。
- 本番環境の決定を下しており、リーダーボードの数値以上の自信が必要な場合。
ベンチマークレポートの赤旗
すべてのベンチマーク主張が信頼できるわけではありません。これらのパターンに注意してください。- 量子化が開示されていない。 「私たちのモデルは MMLU で 78 を記録します」 — どの精度で？言及しない場合、ほとんどのユーザーが量子化して実行するモデルの完全精度スコアを報告している可能性があります。
- 最も良いベンチマークのみを報告。 1 つのスコアを強調し、他を省略するモデルページはチェリーピッキングです。完全なベンチマーク表を探してください。
- 異なるモデルサイズの比較。 「私たちの 7B モデルは X で 70B モデルに勝つ」 — はい、7B の学習データを有利にする狭いベンチマークで。これは公平な比較ではありません。
- 開示のない汚染されたベンチマーク。 モデルの学習データにベンチマークのテストセットが含まれている可能性があり、公開元がそれに対処していない場合、スコアを懐疑的に扱ってください。
- 「GPT-4 を…で上回る」 ほぼ常に狭く有利なベンチマークで。GPT-4 は大規模なプロプライエタリモデルです — 1 つの特定のタスクでそれを上回っても、モデルが一般的に優れていることを意味しません。
- 手法が記述されていない。 スコアにショット数、プロンプトフォーマット、スコアリング手法などの詳細が含まれていない場合、他の公開数値と比較できません。
ベンチマークデータの入手先
さらに深く学ぶ
モデル名の読み方
ベンチマークを見る前に、モデル名、量子化ラベル、アーキテクチャサフィックスを解読します。
モデルカードの読み方
ベンチマークがカバーしていないパラメータ、アーキテクチャ、コンテキスト長、ライセンスを見つけます。
量子化
量子化が、あなたが読み方を学んだばかりのベンチマークスコアにどのように影響するかを理解します。
タスク別のローカルモデル
ベンチマークの洞察を使用して、特定のユースケースに一致するモデルを選択します。