Natural Language Processing23 [2025-1] 정유림 - NV-Embed : Improved Techniques for Training Decoder Models for General Text Embeddings 논문 개요논문 제목: NV-Embed: Improved Techniques for Training Decoder Models for General Text Embeddings게재 연도: 2024년인용 횟수: 2025.01.10 기준 54회 인용주요 성과:디코더 모델의 representation 성능 한계 극복(Decoder 기반 text embedding model)MTEB leader board에서 SOTA 달성(2024.05.22 기준 MTEB 결과 SOTA)DOI: https://doi.org/10.48550/arXiv.2405.174282. 연구 배경Decoder model의 한계:기존 디코더 기반 모델은 단방향(Unidirectional) Attention을 사용하여 Representation .. 2025. 1. 10. [2024-2] 김지원 - HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction 논문 링크 : HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction 논문 리뷰에 앞서 RAG에 대한 간략한 소개 RAG(Retrieval-Augmented Generation)은 Lewis et al.(2020) 논문에서부터(아래 링크 참고) 등장하였는데 이 논문에서는 LLM이 parametric memory(모델 학습 시 배우게 되는 지식) 뿐만 아니라 non-parametric memory(예를 들어 Wikipedia 등 외부 지식)을 활용하여 QA task에 높은 성능을 내도록 했다.대표적인 사례로 Perplexity가 존재하며 그 작동 .. 2024. 12. 31. [2024-2] 백승우 - Retrieval-Augmented Generation for Large Language Models: A Survey Retrieval-Augmented Generation for Large Language Models: A SurveyLarge Language Models (LLMs) showcase impressive capabilities but encounter challenges like hallucination, outdated knowledge, and non-transparent, untraceable reasoning processes. Retrieval-Augmented Generation (RAG) has emerged as a promising solution byarxiv.org0. AbstractLLM(Large Language Model)은 뛰어난 성과를 보이지만, hallucination, .. 2024. 11. 11. [2024-2] 백승우 - (RAG) Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLarge pre-trained language models have been shown to store factual knowledge in their parameters, and achieve state-of-the-art results when fine-tuned on downstream NLP tasks. However, their ability to access and precisely manipulate knowledge is still limarxiv.org0. AbstractPretrained LLM은 사실의 지식을 매개변수에 저장하고, downstream NLP 작업에서 미.. 2024. 11. 3. 이전 1 2 3 4 ··· 6 다음
