Natural Language Processing21 [2023-2] 백승우 - LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS LoRA: Low-Rank Adaptation of Large Language Models An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes le arxiv.org 0. Abstrct 대규모 모델을 사전 학습할수록 모든 모델 파라미터를 재학습하는 전체 미세 조정은 실현 가능성이 낮아진다. 사전 학습된 모델 .. 2024. 2. 13. [2023-2] 양소정 - GPT4Table: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study https://arxiv.org/pdf/2305.13062.pdf Abstract 이 논문에서는 대형 언어 모델(Large Language Models, LLMs)이 구조화된 데이터, 특히 테이블과 같은 데이터를 얼마나 이해하는지에 대한 연구를 진행하고자 한다. 테이블은 LLMs에 직렬화(serialization)를 통해 입력으로 사용될 수 있지만, 이러한 데이터를 LLMs가 실제로 이해할 수 있는지에 대한 포괄적인 연구가 부족하다. 논문에서는 LLMs의 구조적 이해 능력(Structural Understanding Capabilities, SUC)을 평가하기 위한 벤치마크를 설계하였고, 이를 통해 GPT-3.5와 GPT-4에 대한 일련의 평가를 실시한다. 벤치마크에는 셀 조회, 행 검색 및 크기 감지와.. 2024. 1. 29. [2023-2] 박태호 - Tacotron: Towards End-to-End Speech Synthesis 2017년도 구글에서 발표한 논문으로, 문자(character)로부터 직접 음성을 합성하는 end-to-end TTS 모델 Tacotron을 제시한다. 논문 원본 링크 https://arxiv.org/abs/1703.10135 Tacotron: Towards End-to-End Speech Synthesis A text-to-speech synthesis system typically consists of multiple stages, such as a text analysis frontend, an acoustic model and an audio synthesis module. Building these components often requires extensive domain expertise a.. 2024. 1. 29. [2023-2] 김민재 - Plug and Play Language Models: A Simple Approach to Controlled Text Generation 원본 논문 링크 : https://paperswithcode.com/paper/plug-and-play-language-models-a-simple Motivation 이 논문의 목적은 생성 모델에서 텍스트가 생성될 때 원하는 방향으로 생성되는 것이다. 예를 들어, 기존 모델인 GPT-2의 경우 Input으로 부정적인 문장을 넣을 경우 그 뒤 생성되는 문장들이 부정적으로 생성된다. 즉 Input 문장의 방향에 따라 그 뒤에 생성되는 문장의 방향도 결정된다. 그러나, 이 논문에서는 Input에 넣은 문장의 방향과 상관없이 원하는 방향으로 문장을 생성하는 것을 목적으로 한다. 그러나, 원하는 방향으로 문장을 생성하기 위해 조건 a를 추가하여 p(x|a)를 학습시킬 때 문장이 제대로 생성되는지 평가하기가 어렵.. 2024. 1. 9. 이전 1 2 3 4 5 6 다음
