전체 글75 [2024-1] 김동한 - ResLoRA: Identity Residual Mapping in Low-Rank Adaption Abstract LLM에서의 fine-tuning할때 효율성때문에 LoRA를 적용함. 그러나, 기존 모델의 계산 경로가 길기때문에, LoRA 가중치를 효과적으로 업데이트하기에는 어려움이 있음. > 이에 대한 해결책으로 ResLoRA 제안 : 훈련중에 residual path를 추가하고, 이후에 병합하는 과정으로 접근함으로써, 추론에서의 추가적인 경로를 제거하고, LoRA보다 효율적으로 파라미터와 추론 cost를 줄일 수 있음. Introduction LLM에서 수많은 파라미터에 의해 cost가 큰 경우가 많았음. PEFT 방법이 제안되었음 : 몇개의 파라미터만 조정하는 방식임. LoRA의 경우에는 두 개의 행렬을 병렬로 사용, 고정된 선형 layer를 사용하며, 훈련중에 훈련가능한 파라미터가 적었음. >.. 2024. 3. 19. [2024-1] 박태호 - Visual Question Answering https://arxiv.org/abs/1505.00468 VQA: Visual Question Answering We propose the task of free-form and open-ended Visual Question Answering (VQA). Given an image and a natural language question about the image, the task is to provide an accurate natural language answer. Mirroring real-world scenarios, such as helping the arxiv.org 초록 free-form and open-ended task의 해결 방식으로 VQA를 제안한다. VQA는 image와 na.. 2024. 3. 19. [2024-1] 김경훈 - SAM (Segment Anything Model) 원본 논문 링크 : https://arxiv.org/abs/2304.02643 Segment Anything We introduce the Segment Anything (SA) project: a new task, model, and dataset for image segmentation. Using our efficient model in a data collection loop, we built the largest segmentation dataset to date (by far), with over 1 billion masks on 11M license arxiv.org https://github.com/facebookresearch/segment-anything GitHub - facebook.. 2024. 3. 19. [2024-1] 염제원 - HAE-RAE Bench: Evaluation of Korean Knowledge in Language Models https://arxiv.org/abs/2309.02706 HAE-RAE Bench: Evaluation of Korean Knowledge in Language Models Large Language Models (LLMs) trained on massive corpora demonstrate impressive capabilities in a wide range of tasks. While there are ongoing efforts to adapt these models to languages beyond English, the attention given to their evaluation methodologies r arxiv.org Abstract LLM 모델을 비영어권에 적용하려는 시도가 .. 2024. 3. 18. 이전 1 ··· 6 7 8 9 10 11 12 ··· 19 다음
