NLP110 [2026-1] 임준수, 박승원 - GPQA (Diamond): A Graduate-Level Google-Proof Q&A Benchmark https://arxiv.org/abs/2311.12022 GPQA: A Graduate-Level Google-Proof Q&A BenchmarkWe present GPQA, a challenging dataset of 448 multiple-choice questions written by domain experts in biology, physics, and chemistry. We ensure that the questions are high-quality and extremely difficult: experts who have or are pursuing PhDs in the corresarxiv.org1. 데이터셋 구성 의의AI 모델의 성능이 증가함에 따라, 인간이 진실을 쉽게 검증할 수 없.. 2026. 2. 19. [2026-2] 전진우, 김지은 - MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark https://arxiv.org/abs/2406.01574 MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding BenchmarkIn the age of large-scale language models, benchmarks like the Massive Multitask Language Understanding (MMLU) have been pivotal in pushing the boundaries of what AI can achieve in language comprehension and reasoning across diverse domains. However, as moarxiv.org https://huggingf.. 2026. 2. 19. [2026-1] 강민정, 황징아이 - Let’s Verify Step by Step 1. 데이터셋의 구성 의의배경최근 대규모 언어 모델은 복잡한 다단계 추론(Multi-step reasoning)을 수행하는 능력이 크게 향상되었다. 그러나 최신 모델에서도 논리적 오류나 불확실한 상황에서 사실을 조작하는 환각(Hallucination) 문제가 빈번하게 발생한다. 특히 기존 연구에서 다룬 쉬운 문제(GSM8K)와 달리 복잡한 문제일수록 이러한 오류를 잡아내는 것이 중요해진다. 기존의 한계결과 감독(Outcome Supervision, ORM) 방식은 최종 결과만 보고 피드백을 제공한다. 이는 모델이 잘못된 추론 과정을 거쳤음에도 우연히 정답을 맞힌 경우(False Positive)를 판별하기 어렵고, 오답인 경우에도 정확히 어느 단계에서 틀렸는지 알려주지 못하는 신용 할당(Credit As.. 2026. 2. 18. [2026-1] 염제원, 김학선 - AA-Omniscience: Evaluating Cross-Domain KnowledgeReliability in Large Language Models AA-Omniscience: Evaluating Cross-Domain Knowledge Reliability in Large Language ModelsExisting language model evaluations primarily measure general capabilities, yet reliable use of these models across a range of domains demands factual accuracy and recognition of knowledge gaps. We introduce AA-Omniscience, a benchmark designed to measurearxiv.org ArtificialAnalysis/AA-Omniscience-Public · Data.. 2026. 2. 16. 이전 1 2 3 4 5 6 7 ··· 28 다음
