NLP112 [2025-1] 이재호 - Attention is all you need https://arxiv.org/abs/1706.03762 Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a newarxiv.org구글에서 2017년에 발표한 Attention is all you need는 현재 자연어나 비전 등 다양한 방면에서 활용되는 Transf.. 2025. 1. 4. [2024-2] 차승우 - Word2Vec : Efficient Estimation of Word Representations in Vector Space (2013) https://arxiv.org/pdf/1301.3781 0. Abstract- 우리는 매우 큰 데이터 세트로부터 단어의 연속 벡터 표현을 계산하기 위한 두 가지 새로운 모델 아키텍처를 제안합니다. 1. Skip - Gram 2. Bag-of-words - 이러한 표현의 품질은 단어 유사성 작업에서 측정되며, 다양한 유형의 신경망에 기반한 기존 최고의 성능 기법과 비교됩니다. 우리는 계산 비용이 훨씬 낮으면서도 정확도에서 큰 개선을 관찰했습니다. 1. Introduction1.0. 기존 기술 방식(N-gram) 1.1. N-gram 정의 - 어느 문장 이후에 나올 단어를 예측하고 싶을 때, 전체의 문장이 아닌 이전의 n-1개의 단어에 의존하여 코퍼스 내부에 등장 확률을 통해 다음 단어를 예측하는.. 2025. 1. 3. [2024-2] 김지원 - HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction 논문 링크 : HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction 논문 리뷰에 앞서 RAG에 대한 간략한 소개 RAG(Retrieval-Augmented Generation)은 Lewis et al.(2020) 논문에서부터(아래 링크 참고) 등장하였는데 이 논문에서는 LLM이 parametric memory(모델 학습 시 배우게 되는 지식) 뿐만 아니라 non-parametric memory(예를 들어 Wikipedia 등 외부 지식)을 활용하여 QA task에 높은 성능을 내도록 했다.대표적인 사례로 Perplexity가 존재하며 그 작동 .. 2024. 12. 31. [2024-2] 차승우 - Seq2Seq(Sequence to Sequence Learning with Neural Networks) https://arxiv.org/abs/1409.3215 0. Abstact 0.1. Seq2Seq 발생 배경 - DNNs(Deep Nerual Networks)는 시퀀스를 시퀀스로 매핑하는 작업에는 사용할 수 없다. 0.2. Seq2Seq - 이 논문에서는 시퀀스 구조에 대한 가정을 최소화하는 일반적인 end-to-end 시퀀스 학습 접근법을 제안한다. 이 방법은 다층 Long Short-Term Memory(LSTM)를 사용해 입력 시퀀스를 고정 차원의 벡터로 매핑하고, 또 다른 깊은 LSTM을 사용해 해당 벡터에서 타겟 시퀀스를 디코딩한다. - 주요 결과로, WMT-14 데이터셋의 영어-프랑스어 번역 작업에서 LSTM이 전체 테스트 세트에서 BLEU 점수 34.8을 기록1. Introduction .. 2024. 12. 27. 이전 1 ··· 19 20 21 22 23 24 25 ··· 28 다음
