Natural Language Processing81 [2025-2] 정유림 - Quantifying Attention Flow in Transformers 논문 개요논문 제목: Quantifying Attention Flow in Transformers게재 연도: 2020 (arXiv:2005.00928)인용 횟수: 2025.11.08 기준 1331회 인용논문 배경 : Attention 시각화 = 설명일까?Self-Attention은 각 토큰이 다른 토큰을 얼마나 참조하는지를 수치화하니, 사람들은 attention heatmap을 곧잘 explanation처럼 사용했었음.하지만 Transformer는 레이어를 거치며 정보가 contextualization + mixing되고, residual connection과 FFN을 통해 정보가 우회/축적됨. 그래서 높은 레이어의 raw attention은 종종 uniform(평평)해지고, 토큰 기여도를 직관적으로 읽.. 2025. 11. 8. [2025-2] 백승우 - Agent Learning via Early Experience Agent Learning via Early ExperienceA long-term goal of language agents is to learn and improve through their own experience, ultimately outperforming humans in complex, real-world tasks. However, training agents from experience data with reinforcement learning remains difficult in many enviarxiv.org 2025. 10. 15. [2025-2] 김경훈 - Simulating Training Data Leakage in Multiple-Choice Benchmarks for LLM Evaluation (Arxiv 2025) 논문 : https://arxiv.org/pdf/2505.24263 ▲2025년 5월 30일에 공개된 arXiv에 게재된 논문임.(학회 X) MBZUAI 설명:더보기MBZUAI는 아랍에미리트 아부다비에 위치한 세계 최초의 석사 및 박사 과정 중심의 인공지능 전문 연구 대학입니다. 2019년에 설립되어, 2025년부터 학부 과정도 개시하였습니다📍 위치도시: 아부다비 (Abu Dhabi)지역: 마스다르 시티 (Masdar City)국가: 아랍에미리트 (United Arab Emirates) 1. Abstract (초록)이 연구는 LLM(대형 언어 모델)의 평가에서 데이터 누출 문제를 다룹니다.기존의 누출 감지 방법을 비교하고, 누출을 시뮬레이션하여 이를 탐지하는 새로운 방법을 제시합니다.특히, se.. 2025. 9. 13. [2025-2] 백승우 - Intent of Data Contamination 2025- 2025. 9. 13. 이전 1 2 3 4 ··· 21 다음
