Natural Language Processing63 [2024-2] 차승우 - Word2Vec : Efficient Estimation of Word Representations in Vector Space (2013) https://arxiv.org/pdf/1301.3781 0. Abstract- 우리는 매우 큰 데이터 세트로부터 단어의 연속 벡터 표현을 계산하기 위한 두 가지 새로운 모델 아키텍처를 제안합니다. 1. Skip - Gram 2. Bag-of-words - 이러한 표현의 품질은 단어 유사성 작업에서 측정되며, 다양한 유형의 신경망에 기반한 기존 최고의 성능 기법과 비교됩니다. 우리는 계산 비용이 훨씬 낮으면서도 정확도에서 큰 개선을 관찰했습니다. 1. Introduction1.0. 기존 기술 방식(N-gram) 1.1. N-gram 정의 - 어느 문장 이후에 나올 단어를 예측하고 싶을 때, 전체의 문장이 아닌 이전의 n-1개의 단어에 의존하여 코퍼스 내부에 등장 확률을 통해 다음 단어를 예측하는.. 2025. 1. 3. [2024-2] 김지원 - HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction 논문 링크 : HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction 논문 리뷰에 앞서 RAG에 대한 간략한 소개 RAG(Retrieval-Augmented Generation)은 Lewis et al.(2020) 논문에서부터(아래 링크 참고) 등장하였는데 이 논문에서는 LLM이 parametric memory(모델 학습 시 배우게 되는 지식) 뿐만 아니라 non-parametric memory(예를 들어 Wikipedia 등 외부 지식)을 활용하여 QA task에 높은 성능을 내도록 했다.대표적인 사례로 Perplexity가 존재하며 그 작동 .. 2024. 12. 31. [2024-2] 차승우 - Seq2Seq(Sequence to Sequence Learning with Neural Networks) https://arxiv.org/abs/1409.3215 0. Abstact 0.1. Seq2Seq 발생 배경 - DNNs(Deep Nerual Networks)는 시퀀스를 시퀀스로 매핑하는 작업에는 사용할 수 없다. 0.2. Seq2Seq - 이 논문에서는 시퀀스 구조에 대한 가정을 최소화하는 일반적인 end-to-end 시퀀스 학습 접근법을 제안한다. 이 방법은 다층 Long Short-Term Memory(LSTM)를 사용해 입력 시퀀스를 고정 차원의 벡터로 매핑하고, 또 다른 깊은 LSTM을 사용해 해당 벡터에서 타겟 시퀀스를 디코딩한다. - 주요 결과로, WMT-14 데이터셋의 영어-프랑스어 번역 작업에서 LSTM이 전체 테스트 세트에서 BLEU 점수 34.8을 기록1. Introduction .. 2024. 12. 27. [2024-2] 김영중 - Seq2Seq(Sequence to Sequence Learning with Neural Networks) https://arxiv.org/abs/1409.3215 Sequence to Sequence Learning with Neural NetworksDeep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot be used to map sequences to sequences. In this paparxiv.org Abstract Sequence-to-Sequence(Seq2Seq) 모델은 기존의 순환.. 2024. 12. 21. 이전 1 ··· 7 8 9 10 11 12 13 ··· 16 다음
