전체 글404 [2026-1] 장인영 - Attention is All You Need https://arxiv.org/pdf/1706.037621. Introduction 1. 순환 모델의 한계 기존의 시퀀스 모델링에서는 RNN, LSTM, GRU와 같은 순환 신경망이 널리 사용되어 왔다.이러한 모델은 입력 시퀀스의 각 위치에 따라 계산을 나누어 수행하며,각 위치를 계산 시간의 단계와 정렬하여 이전 은닉 상태와 현재 입력을 기반으로 새로운 은닉 상태를 생성한다.이러한 구조는 본질적으로 순차적이기 때문에, 하나의 학습 예제 내에서 병렬 처리가 불가능하다.이 문제는 시퀀스 길이가 길어질수록 더욱 중요해지며, 메모리 제약으로 인해 여러 예제를 동시에 처리하는 데에도 한계를 발생시킨다.2. Attention의 등장과 한계Attention 메커니즘은 입력 또는 출력 시퀀스 내의 거리와 관계없이 의.. 2026. 3. 21. [2026-1] 이루가 - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents 논문 링크: https://arxiv.org/abs/2105.03887 Lawformer: A Pre-trained Language Model for Chinese Legal Long DocumentsLegal artificial intelligence (LegalAI) aims to benefit legal systems with the technology of artificial intelligence, especially natural language processing (NLP). Recently, inspired by the success of pre-trained language models (PLMs) in the generic domaiarxiv.org ABSTRACTLawformer는 기.. 2026. 3. 21. [2026-1] 김지원 - SPICE: Self-Play In Corpus Environments 논문 제목: SPICE: Self-Play In Corpus Environments논문 링크: https://arxiv.org/abs/2510.24684 SPICE: Self-Play In Corpus Environments Improves ReasoningSelf-improving systems require environmental interaction for continuous adaptation. We introduce SPICE (Self-Play In Corpus Environments), a reinforcement learning framework where a single model acts in two roles: a Challenger that mines documents from a.. 2026. 3. 21. [2026-1] 김학선, 임준수 - BENCHMARKING AGENTS ON HARD, REALISTICTASKS IN COMMAND LINE INTERFACES https://arxiv.org/abs/2601.11868 Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line InterfacesAI agents may soon become capable of autonomously completing valuable, long-horizon tasks in diverse domains. Current benchmarks either do not measure real-world tasks, or are not sufficiently difficult to meaningfully measure frontier models. To this end,arxiv.org Task Formula.. 2026. 3. 20. 이전 1 2 3 4 ··· 101 다음
