Natural Language Processing63 [2025-1] 백승우 - Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting Speculative RAG: Enhancing Retrieval Augmented Generation through DraftingRetrieval augmented generation (RAG) combines the generative abilities of large language models (LLMs) with external knowledge sources to provide more accurate and up-to-date responses. Recent RAG advancements focus on improving retrieval outcomes througharxiv.org0. AbstractRAG는 LLM의 생성 기능과 외부 지식을 결합하여 답변을 제공한다. 최근 RAG는 반복.. 2025. 1. 22. [2025-1] 정유림 - NV-Embed : Improved Techniques for Training Decoder Models for General Text Embeddings 논문 개요논문 제목: NV-Embed: Improved Techniques for Training Decoder Models for General Text Embeddings게재 연도: 2024년인용 횟수: 2025.01.10 기준 54회 인용주요 성과:디코더 모델의 representation 성능 한계 극복(Decoder 기반 text embedding model)MTEB leader board에서 SOTA 달성(2024.05.22 기준 MTEB 결과 SOTA)DOI: https://doi.org/10.48550/arXiv.2405.174282. 연구 배경Decoder model의 한계:기존 디코더 기반 모델은 단방향(Unidirectional) Attention을 사용하여 Representation .. 2025. 1. 10. [2025-1] 염제원 - SELF-RAG: Self-Reflective Retrieval-Augmented Generation SELF-RAG: Self-Reflective Retrieval-Augmented GenerationSELF-RAG는 Retrieval-Augmented Generation(RAG)에 자기반영(Self-reflection) 기능을 결합한 프레임워크임. 기존 RAG가 항상 K개 문서를 붙이는 방식이었던 것과 달리, SELF-RAG는 “검색이 필요한 시점”과 “검색 결과가 답변에 어떻게 기여하는지”를 모델이 스스로 평가하도록 설계했음.1. 문제 설정대규모 언어 모델(LLM)은 파라메트릭 지식만으로 답변을 생성하다가, 사실 오류를 포함하는 결과를 자주 만들어냈음. 이를 보완하기 위해 검색을 결합한 RAG가 등장했지만, 무조건 정해진 개수만큼 문서를 가져오는 방식이라, 불필요한 맥락을 끼워 넣거나, 중요한 검증.. 2025. 1. 8. [2025-1] 이재호 - Attention is all you need https://arxiv.org/abs/1706.03762 Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a newarxiv.org구글에서 2017년에 발표한 Attention is all you need는 현재 자연어나 비전 등 다양한 방면에서 활용되는 Transf.. 2025. 1. 4. 이전 1 ··· 6 7 8 9 10 11 12 ··· 16 다음
