평가가 존재하는 이유
파라미터 수, 학습 데이터 크기, 아키텍처만으로는 모델을 판단할 수 없습니다. 이러한 수치는 모델이 이론적으로 해낼 수 있는 것, 즉 용량을 설명할 뿐, 실제로 프롬프트를 입력받았을 때 모델이 수행하는 실제 능력을 설명하지는 않습니다. 벤치마크는 바로 이러한 간극을 메우기 위해 존재합니다. 좋은 벤치마크는 다음과 같은 역할을 합니다.- 비교를 표준화합니다 — 모든 모델이 동일한 조건에서 동일한 질문에 답합니다.
- 강점과 약점을 드러냅니다 — 수학에서 높은 점수를 받은 모델이 코드 작성에서는 평범할 수 있습니다.
- 발전 정도를 추적합니다 — 새로운 세대의 모델이 실제로 개선되었는지, 아니면 그저 몸집만 커졌는지 확인할 수 있습니다.
벤치마크 현황
모델 카드와 리더보드에서 자주 접하게 될 주요 벤치마크는 다음과 같습니다.MMLU 상세 정보
MMLU 상세 정보
MMLU(Massive Multitask Language Understanding)는 가장 널리 인용되는 벤치마크입니다. STEM, 인문학, 사회과학 등 57개 과목을 고등학교 수준부터 전문가 수준까지 다룹니다. 각 문제는 4개의 보기 중에서 고르는 객관식입니다. 점수가 70이라는 것은 모델이 이러한 문제 중 70%를 맞혔다는 의미입니다. MMLU는 폭넓은 역량 지표로는 유용하지만 개방형 생성, 창의성, 지시 사항 준수 능력은 평가하지 않습니다. 대부분의 모델 카드는 5-shot 점수를 보고합니다.
HumanEval과 MBPP
HumanEval과 MBPP
이 2개의 벤치마크는 코드 생성 능력을 측정합니다. HumanEval에는 164개의 손수 작성한 Python 문제가 있으며, 모델이 docstring으로부터 함수를 생성하면 테스트를 실행해 정확성을 확인합니다. MBPP는 규모가 더 크지만(약 1000개 문제) 더 단순한 알고리즘 과제를 다룹니다. 두 벤치마크 모두 pass@1, 즉 첫 시도에서 정확히 해결한 문제의 비율을 보고합니다. 코딩 역량을 비교하기에는 좋지만 실제 프로그래밍 작업 중에서는 좁은 범위만을 다룹니다.
MT-Bench와 Chatbot Arena
MT-Bench와 Chatbot Arena
MT-Bench는 80개의 멀티턴 프롬프트를 GPT-4 또는 사람 평가자가 1–10점 척도로 채점하여 대화 품질을 평가합니다. Chatbot Arena(LMSYS)는 방식이 다릅니다. 2개의 익명 모델을 서로 겨루게 하고 사용자가 투표하도록 하여 체스 레이팅과 비슷한 ELO 순위를 산출합니다. Arena 점수는 실제 사용자 선호도를 반영하지만 갱신 속도가 느리고, 정확하지만 간결한 답변보다 매끄럽고 자신감 있어 보이는 답변을 내놓는 모델을 우대하는 경향이 있습니다.
SWE-Bench
SWE-Bench
SWE-Bench는 모델이 실제 GitHub 이슈를 엔드투엔드로 해결할 수 있는지, 즉 이슈를 읽고, 대규모 코드베이스에서 버그를 찾아내고, 올바른 풀 리퀘스트를 생성할 수 있는지를 평가합니다. 상위권 모델은 검증된 하위 집합에서 이슈의 30–50%를 해결합니다. 이는 실제 소프트웨어 엔지니어링 작업에 가장 가까운 벤치마크이지만 매우 어려우며 언어와 프레임워크에 따라 결과 편차가 큽니다.
LiveBench
LiveBench
LiveBench는 매달 새로운 데이터로 테스트 세트를 갱신하여 벤치마크 오염에 강한 내성을 가집니다. 모델은 학습 중에 접하지 못한 답을 미리 암기할 수 없기 때문입니다. 수학, 코딩, 추론, 언어, 데이터 분석, 지시 사항 준수 능력을 아우릅니다. MMLU나 HumanEval보다 역사는 짧지만 점점 더 신뢰할 수 있는 지표로 인용되고 있습니다.
벤치마크 표를 읽는 방법
점수는 권위 있어 보이지만, 실제로 유용하게 활용하려면 맥락이 필요합니다.숫자가 의미하는 것
대부분의 벤치마크는 0에서 100 사이의 점수를 보고하며, 이는 모델이 정답을 맞힌 문제의 비율을 뜻합니다. MMLU 점수가 70이라는 것은 모델이 대학 수준의 객관식 문제 중 70%를 맞혔다는 의미입니다. (Chatbot Arena에서 사용하는) ELO 등급은 다릅니다. 이는 상대적인 순위로, 100점 차이가 나면 등급이 더 높은 모델이 맞대결에서 약 64%의 확률로 승리한다는 것을 의미합니다.오차 범위
단일 벤치마크에서 1–2점 차이는 잡음에 불과합니다. 채점 방식, 프롬프트 형식, 심지어 무작위 시드 값의 차이만으로도 점수가 그 정도는 달라질 수 있습니다. 모델 A가 MMLU에서 72점, 모델 B가 74점을 받았다면 두 모델을 동등하다고 간주하고, 사용자가 중요하게 여기는 구체적인 역량을 측정하는 벤치마크를 살펴보세요.오염
벤치마크 오염은 테스트 문제가 모델의 학습 데이터에 유출될 때 발생합니다. 모델은 이미 정답을 본 적이 있기 때문에 인위적으로 높은 점수를 받게 됩니다. 벤치마크가 널리 공개될수록 이는 점점 더 심각해지는 문제입니다. LiveBench를 비롯한 일부 최신 벤치마크는 테스트 세트를 주기적으로 갱신하여 이 문제에 대응합니다.모델의 벤치마크 점수가 실제 성능에 비해 의심스러울 만큼 높다면 오염이 원인일 가능성이 있습니다. 해당 벤치마크가 모델의 학습 데이터 마감일 이전에 공개되었는지 확인해 보세요.
체리피킹
단 하나의 벤치마크만으로 모델을 판단하지 마세요. 배포사는 자사 모델이 가장 돋보이는 1개의 점수만 강조하고 부진한 결과는 감추는 경우가 있습니다. 결론을 내리기 전에 지식, 코드, 수학, 지시 사항 준수 등 서로 다른 역량을 다루는 다양한 벤치마크를 폭넓게 살펴보세요.사용 목적에 따라 중요한 벤치마크
모든 벤치마크가 모든 작업에 중요한 것은 아닙니다. 실제로 필요한 역량을 측정하는 벤치마크에 집중하세요.코딩 어시스턴트
확인할 지표: HumanEval, MBPP, SWE-Bench.
이 벤치마크들은 코드 생성과 소프트웨어 엔지니어링 능력을 직접 측정합니다. 이 판단에서는 MMLU를 무시하세요. 잡학 지식 문제에서 높은 점수를 받은 모델이라도 코드는 형편없이 작성할 수 있습니다.
챗봇 및 일반 대화
확인할 지표: MT-Bench, Chatbot Arena ELO, IFEval.
대화 품질은 주관적이기 때문에 사람이 채점하는 벤치마크가 가장 중요합니다. IFEval은 모델이 형식 및 제약 조건 지시를 얼마나 안정적으로 따르는지를 추가로 측정합니다.
추론 및 분석
확인할 지표: GSM8K, MATH, GPQA, ARC-Challenge, BigBench Hard.
이 벤치마크들은 서로 다른 난이도에서 여러 단계의 논리적 사고를 평가합니다. GPQA가 가장 어려운 벤치마크로, 최상위권 모델과 그저 괜찮은 모델을 구분하는 데 유용합니다.
범용 어시스턴트
확인할 지표: MMLU + MT-Bench + IFEval을 종합적으로 확인하세요.
“범용 어시스턴트”로서의 품질은 단 하나의 수치로 파악할 수 없습니다. 지식의 폭, 대화 능력, 지시 사항 준수도를 종합적으로 파악하려면 이 3가지 지표를 모두 확인하세요.
양자화 수준에 따른 벤치마크 점수
벤치마크 점수는 보통 완전 정밀도(FP16 또는 BF16)에서 보고됩니다. 로컬에서 양자화된 모델을 실행하면 어느 정도 점수 저하를 예상해야 합니다.양자화의 대가는 얼마나 될까?
그 영향은 벤치마크 종류, 모델 크기, 양자화 수준에 따라 달라집니다.양자화가 더 크게 영향을 미치는 경우
- 소형 모델이 대형 모델보다 더 큰 손실을 입습니다. 7B 모델을
Q4_K_M으로 양자화하면 동일한 양자화 수준의 70B 모델보다 더 크게 점수가 떨어집니다. 모델 크기가 작을수록 반올림 오차를 흡수할 여유가 적기 때문입니다. - 정밀함이 요구되는 작업일수록 영향이 큽니다. 수학과 코드 생성은 일반 채팅보다 가중치 정밀도에 더 민감합니다. 코딩 어시스턴트를 운영한다면
Q5_K_M이상을 고려하세요. - I-quant는 낮은 비트 폭에서 도움이 될 수 있습니다. Imatrix 양자화(
IQ4_XS,IQ3_XXS)는 중요한 가중치를 더 세심하게 보존하여 동일한 크기의 표준 K-quant 대비 1–2점을 회복할 수 있습니다.
70B 모델을
Q4_K_M으로 양자화하면 완전 정밀도의 7B 모델보다 대부분의 벤치마크에서 거의 항상 더 우수한 성능을 보입니다. 크기 차이가 클 때는 양자화 수준보다 모델 크기가 더 중요합니다.직접 평가 진행하기
공개된 벤치마크는 어디까지나 출발점입니다. 모델이 사용자의 작업에서 사용자의 환경으로 어떻게 작동하는지 알아야 한다면, 직접 평가를 진행하세요.직접 평가해야 할 때
- 법률, 의료, 금융처럼 표준 벤치마크가 다루지 않는 도메인 특화 사용 사례가 있는 경우
- 공개 벤치마크에서 비슷한 점수를 받은 2개의 모델을 비교하는 경우
- 특정 양자화나 파인튜닝을 테스트하여 실제 영향을 측정하려는 경우
- 배포하기 전에 모델이 사용자의 엣지 케이스를 잘 처리하는지 검증해야 하는 경우
평가 실행 도구
lm-evaluation-harness(EleutherAI 제작)는 표준 오픈소스 도구입니다. 60개 이상의 학술 벤치마크를 기본으로 지원하며llama.cpp, vLLM, 또는 OpenAI 호환 API를 통해 서빙되는 모든 모델에 대해 실행할 수 있습니다.
간단한 커스텀 평가
도메인 특화 품질을 테스트하는 데 반드시 프레임워크가 필요한 것은 아닙니다.- 실제 사용 사례에서 50개의 질문을 작성합니다.
- 각 질문을 모델에 전달하고 응답을 기록합니다.
- 각 응답에 1–5점 척도로 점수를 매깁니다(사실 확인 질문의 경우 정답/오답으로 채점).
- 비교하려는 각 모델에 대해 이 과정을 반복합니다.
공개된 점수를 신뢰해도 되는 경우
다음과 같은 경우에는 공개된 벤치마크 점수를 신뢰해도 됩니다.- 모델 배포사가 정직하게 결과를 보고해 온 이력이 있는 경우 (Meta, Google, Mistral, Qwen, Anthropic)
- 여러 독립적인 출처가 비슷한 수치를 확인해 주는 경우
- 벤치마크가 모델의 학습 데이터 마감일 이후에 공개되어 오염 위험이 낮은 경우
- 타사에서 만든 양자화 버전을 사용 중이며 품질이 크게 저하되지 않았는지 확인하고 싶은 경우
- 작업 범위가 좁아서 일반적인 벤치마크가 적용되지 않는 경우
- 프로덕션 관련 결정을 내려야 해서 리더보드 수치 이상의 확신이 필요한 경우
벤치마크 보고에서 주의해야 할 신호
모든 벤치마크 주장을 신뢰할 수 있는 것은 아닙니다. 다음과 같은 패턴을 주의 깊게 살펴보세요.- 양자화 여부를 밝히지 않음. “우리 모델은 MMLU에서 78점을 기록했습니다”라고 할 때, 어떤 정밀도에서일까요? 밝히지 않는다면 대부분의 사용자가 양자화된 버전으로 실행할 모델에 대해 완전 정밀도 점수를 보고하고 있는 것일 수 있습니다.
- 가장 좋은 벤치마크만 보고함. 1개의 점수만 강조하고 나머지는 생략하는 모델 페이지는 체리피킹입니다. 전체 벤치마크 표를 찾아보세요.
- 서로 다른 모델 크기를 비교함. “우리의 7B 모델이 X에서 70B 모델을 능가합니다” — 물론 7B 모델의 학습 데이터에 유리한 좁은 벤치마크에서라면 그럴 수 있습니다. 이는 공정한 비교가 아닙니다.
- 오염된 벤치마크를 밝히지 않음. 모델의 학습 데이터에 벤치마크의 테스트 세트가 포함되었을 가능성이 있는데도 배포사가 이를 언급하지 않는다면 점수를 회의적으로 받아들이세요.
- ”…에서 GPT-4를 능가”. 거의 항상 편향되고 좁은 벤치마크에서의 결과입니다. GPT-4는 대형 독점 모델이므로, 1개의 특정 작업에서 이를 능가한다고 해서 전반적으로 더 뛰어난 모델이라는 의미는 아닙니다.
- 방법론을 설명하지 않음. 샷 수, 프롬프트 형식, 채점 방법과 같은 세부 정보가 점수에 포함되어 있지 않다면 다른 공개된 수치와 비교할 수 없습니다.
벤치마크 데이터를 찾을 수 있는 곳
더 깊이 알아보기
모델 이름 읽는 법
벤치마크를 살펴보기 전에 모델 이름, 양자화 표기, 아키텍처 접미사를 해독하는 방법을 알아보세요.
모델 카드 읽는 법
벤치마크로는 알 수 없는 파라미터, 아키텍처, 컨텍스트 길이, 라이선스 정보를 확인하세요.
양자화
방금 읽는 법을 배운 벤치마크 점수에 양자화가 어떤 영향을 미치는지 알아보세요.
어떤 작업에 어떤 로컬 모델을 사용해야 할까요?
벤치마크에서 얻은 통찰을 활용해 사용자의 구체적인 사용 사례에 맞는 모델을 선택하세요.