전체 글393 [2026-1] 박서형, 김다정 - Humanity’s Last Exam 1. Introduction대형 언어모델(LLM)의 성능이 빠르게 올라가면서, 기존의 벤치마크들은 점점 측정 도구로서 의미를 잃고 있다. 예를 들어, MMLU 같은 대표 벤치마크에서 최신 모델들이 90% 이상의 높은 정확도를 달성하면서, 모델이 더 좋아져도 점수는 그 개선을 충분히 반영하지 못한다. 이러한 문제를 본 논문에서는 "benchmark saturation"라고 명명한다. 이 문제의식에서 출발해 저자들은 Humanity’s Last Exam (HLE) 이라는 새로운 벤치마크를 제안한다. 이 벤치마크는 다음과 같은 조건을 만족한다.광범위한 학문 커버리지(수학/자연과학/인문사회 등)폐쇄형(close-ended): 정답이 명확히 존재하고 자동 채점이 가능인터넷 검색으로 빠르게 해결되지 않음(retr.. 2026. 2. 19. [2026-1] 임준수, 박승원 - GPQA (Diamond): A Graduate-Level Google-Proof Q&A Benchmark https://arxiv.org/abs/2311.12022 GPQA: A Graduate-Level Google-Proof Q&A BenchmarkWe present GPQA, a challenging dataset of 448 multiple-choice questions written by domain experts in biology, physics, and chemistry. We ensure that the questions are high-quality and extremely difficult: experts who have or are pursuing PhDs in the corresarxiv.org1. 데이터셋 구성 의의AI 모델의 성능이 증가함에 따라, 인간이 진실을 쉽게 검증할 수 없.. 2026. 2. 19. [2026-2] 전진우, 김지은 - MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark https://arxiv.org/abs/2406.01574 MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding BenchmarkIn the age of large-scale language models, benchmarks like the Massive Multitask Language Understanding (MMLU) have been pivotal in pushing the boundaries of what AI can achieve in language comprehension and reasoning across diverse domains. However, as moarxiv.org https://huggingf.. 2026. 2. 19. [2026-1] 강민정, 황징아이 - Let’s Verify Step by Step 1. 데이터셋의 구성 의의배경최근 대규모 언어 모델은 복잡한 다단계 추론(Multi-step reasoning)을 수행하는 능력이 크게 향상되었다. 그러나 최신 모델에서도 논리적 오류나 불확실한 상황에서 사실을 조작하는 환각(Hallucination) 문제가 빈번하게 발생한다. 특히 기존 연구에서 다룬 쉬운 문제(GSM8K)와 달리 복잡한 문제일수록 이러한 오류를 잡아내는 것이 중요해진다. 기존의 한계결과 감독(Outcome Supervision, ORM) 방식은 최종 결과만 보고 피드백을 제공한다. 이는 모델이 잘못된 추론 과정을 거쳤음에도 우연히 정답을 맞힌 경우(False Positive)를 판별하기 어렵고, 오답인 경우에도 정확히 어느 단계에서 틀렸는지 알려주지 못하는 신용 할당(Credit As.. 2026. 2. 18. 이전 1 2 3 4 5 6 ··· 99 다음
