Natural Language Processing30 [2023-2] 김민재 - Plug and Play Language Models: A Simple Approach to Controlled Text Generation 원본 논문 링크 : https://paperswithcode.com/paper/plug-and-play-language-models-a-simple Motivation 이 논문의 목적은 생성 모델에서 텍스트가 생성될 때 원하는 방향으로 생성되는 것이다. 예를 들어, 기존 모델인 GPT-2의 경우 Input으로 부정적인 문장을 넣을 경우 그 뒤 생성되는 문장들이 부정적으로 생성된다. 즉 Input 문장의 방향에 따라 그 뒤에 생성되는 문장의 방향도 결정된다. 그러나, 이 논문에서는 Input에 넣은 문장의 방향과 상관없이 원하는 방향으로 문장을 생성하는 것을 목적으로 한다. 그러나, 원하는 방향으로 문장을 생성하기 위해 조건 a를 추가하여 p(x|a)를 학습시킬 때 문장이 제대로 생성되는지 평가하기가 어렵.. 2024. 1. 9. [2023-2] 황재연 - Efficient Estimation of Word Representations inVector Space https://arxiv.org/abs/1301.3781 Efficient Estimation of Word Representations in Vector Space We propose two novel model architectures for computing continuous vector representations of words from very large data sets. The quality of these representations is measured in a word similarity task, and the results are compared to the previously best per arxiv.org Abstract 단어의 연속 벡터를 표현하기 위한 새로운 2가지 모델.. 2023. 12. 3. [2023-2] 김민재 - CCNet: Extracting High Quality Monoligual https://paperswithcode.com/paper/ccnet-extracting-high-quality-monolingual Papers with Code - CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data Implemented in 2 code libraries. paperswithcode.com 1. Introduction 사전 학습된 텍스트 표현은 많은 자연어 처리 작업에서 성능 향상을 가져왔다. 트랜스포머와 BERT의 도입 이후 사전 학습된 모델의 품질이 꾸준히 향상되어 왔으며 이는 주로 사전 학습된 코퍼스의 크기가 커진 것에 따른 것이다. 그러나 크기가 커지는 것뿐만 아니라 데이터의 품질을 유지하는 것도 중.. 2023. 12. 2. [2023-2] 양소정 - Improving Language Understanding by Generative Pre-Training https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf Abstract 자연어 이해는 textual entailment, question answering, semantic similarity assessment, document classification 등 다양한 작업으로 구성됨 Unlabeled corpora는 풍부하지만, 이러한 특정 작업을 학습하기 위한 labeled corpora는 부족하여 모델이 차별적으로 학습하기 어려움 Open AI는 다양한 unlabeled text corpora에 기반한 GPT language 모델과 specific task 각각에 대한 fine-tuning.. 2023. 11. 28. 이전 1 ··· 4 5 6 7 8 다음
