Natural Language Processing78 [2024-1] 김동한 - ResLoRA: Identity Residual Mapping in Low-Rank Adaption Abstract LLM에서의 fine-tuning할때 효율성때문에 LoRA를 적용함. 그러나, 기존 모델의 계산 경로가 길기때문에, LoRA 가중치를 효과적으로 업데이트하기에는 어려움이 있음. > 이에 대한 해결책으로 ResLoRA 제안 : 훈련중에 residual path를 추가하고, 이후에 병합하는 과정으로 접근함으로써, 추론에서의 추가적인 경로를 제거하고, LoRA보다 효율적으로 파라미터와 추론 cost를 줄일 수 있음. Introduction LLM에서 수많은 파라미터에 의해 cost가 큰 경우가 많았음. PEFT 방법이 제안되었음 : 몇개의 파라미터만 조정하는 방식임. LoRA의 경우에는 두 개의 행렬을 병렬로 사용, 고정된 선형 layer를 사용하며, 훈련중에 훈련가능한 파라미터가 적었음. >.. 2024. 3. 19. [2024-1] 박태호 - Visual Question Answering https://arxiv.org/abs/1505.00468 VQA: Visual Question Answering We propose the task of free-form and open-ended Visual Question Answering (VQA). Given an image and a natural language question about the image, the task is to provide an accurate natural language answer. Mirroring real-world scenarios, such as helping the arxiv.org 초록 free-form and open-ended task의 해결 방식으로 VQA를 제안한다. VQA는 image와 na.. 2024. 3. 19. [2024-1] 염제원 - HAE-RAE Bench: Evaluation of Korean Knowledge in Language Models https://arxiv.org/abs/2309.02706 HAE-RAE Bench: Evaluation of Korean Knowledge in Language Models Large Language Models (LLMs) trained on massive corpora demonstrate impressive capabilities in a wide range of tasks. While there are ongoing efforts to adapt these models to languages beyond English, the attention given to their evaluation methodologies r arxiv.org Abstract LLM 모델을 비영어권에 적용하려는 시도가 .. 2024. 3. 18. [2023-2] 김민재 - Unified Language Model Pre-training for Natural Language Understanding and Generation https://paperswithcode.com/paper/unified-language-model-pre-training-for Introduction Table 1에서 볼 수 있듯 각각 다른 종류의 예측 작업을 위해 ELMo, GPT, BERT 등의 여러 종류의 LM(Language Model)이 사용됨을 확인할 수 있음 이 논문에서 소개할 UniLM은 NLU(Natural Language Understading)와 NLG(Natural Language Generation)에 모두 사용 가능 UniLM은 다층의 Transformer network로 많은 양의 텍스트가 함께 pre-training 되었으며 Table 2에서 볼 수 있듯 3가지 유형의 비지도 LM 목표에 최적화됨 BERT가 NLU에 주로.. 2024. 2. 27. 이전 1 ··· 14 15 16 17 18 19 20 다음
