Natural Language Processing65 [2025-1] 염제원 - SELF-RAG: Self-Reflective Retrieval-Augmented Generation SELF-RAG: Self-Reflective Retrieval-Augmented GenerationSELF-RAG는 Retrieval-Augmented Generation(RAG)에 자기반영(Self-reflection) 기능을 결합한 프레임워크임. 기존 RAG가 항상 K개 문서를 붙이는 방식이었던 것과 달리, SELF-RAG는 “검색이 필요한 시점”과 “검색 결과가 답변에 어떻게 기여하는지”를 모델이 스스로 평가하도록 설계했음.1. 문제 설정대규모 언어 모델(LLM)은 파라메트릭 지식만으로 답변을 생성하다가, 사실 오류를 포함하는 결과를 자주 만들어냈음. 이를 보완하기 위해 검색을 결합한 RAG가 등장했지만, 무조건 정해진 개수만큼 문서를 가져오는 방식이라, 불필요한 맥락을 끼워 넣거나, 중요한 검증.. 2025. 1. 8. [2025-1] 이재호 - Attention is all you need https://arxiv.org/abs/1706.03762 Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a newarxiv.org구글에서 2017년에 발표한 Attention is all you need는 현재 자연어나 비전 등 다양한 방면에서 활용되는 Transf.. 2025. 1. 4. [2024-2] 차승우 - Word2Vec : Efficient Estimation of Word Representations in Vector Space (2013) https://arxiv.org/pdf/1301.3781 0. Abstract- 우리는 매우 큰 데이터 세트로부터 단어의 연속 벡터 표현을 계산하기 위한 두 가지 새로운 모델 아키텍처를 제안합니다. 1. Skip - Gram 2. Bag-of-words - 이러한 표현의 품질은 단어 유사성 작업에서 측정되며, 다양한 유형의 신경망에 기반한 기존 최고의 성능 기법과 비교됩니다. 우리는 계산 비용이 훨씬 낮으면서도 정확도에서 큰 개선을 관찰했습니다. 1. Introduction1.0. 기존 기술 방식(N-gram) 1.1. N-gram 정의 - 어느 문장 이후에 나올 단어를 예측하고 싶을 때, 전체의 문장이 아닌 이전의 n-1개의 단어에 의존하여 코퍼스 내부에 등장 확률을 통해 다음 단어를 예측하는.. 2025. 1. 3. [2024-2] 김지원 - HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction 논문 링크 : HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction 논문 리뷰에 앞서 RAG에 대한 간략한 소개 RAG(Retrieval-Augmented Generation)은 Lewis et al.(2020) 논문에서부터(아래 링크 참고) 등장하였는데 이 논문에서는 LLM이 parametric memory(모델 학습 시 배우게 되는 지식) 뿐만 아니라 non-parametric memory(예를 들어 Wikipedia 등 외부 지식)을 활용하여 QA task에 높은 성능을 내도록 했다.대표적인 사례로 Perplexity가 존재하며 그 작동 .. 2024. 12. 31. 이전 1 ··· 7 8 9 10 11 12 13 ··· 17 다음
