전체 글205 [2024-1] 박지연 - Deep learning : Yann LeCun1,2, Yoshua Bengio3 & Geoffrey Hinton4,5 / 2015 https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf Abstract Deep learning multiple processing layers로 구성된 계산 모델이 여러 수준의 추상화를 통해 데이터의 표현을 학습할 수 있도록 함 → 다양한 영역의 기술 수준을 향상 시킴 backpropagation algorithm(역전파 알고리즘) → 딥러닝이 사용하는 알고리즘으로 기계가 이전 계층의 표현에서 각 계층의 표현을 계산하는 데 사용되는 내부 매개 변수를 어떻게 변경하는지를 나타낸다 convolutional nets vs recurrent nets알고리즘 CNN RNN 주요 특징 이미지 데이터에 특화된 패턴 인식 순차적인 데이터(시계열 데이터)에서 시간.. 2024. 3. 19. [2024-1] 김동한 - ResLoRA: Identity Residual Mapping in Low-Rank Adaption Abstract LLM에서의 fine-tuning할때 효율성때문에 LoRA를 적용함. 그러나, 기존 모델의 계산 경로가 길기때문에, LoRA 가중치를 효과적으로 업데이트하기에는 어려움이 있음. > 이에 대한 해결책으로 ResLoRA 제안 : 훈련중에 residual path를 추가하고, 이후에 병합하는 과정으로 접근함으로써, 추론에서의 추가적인 경로를 제거하고, LoRA보다 효율적으로 파라미터와 추론 cost를 줄일 수 있음. Introduction LLM에서 수많은 파라미터에 의해 cost가 큰 경우가 많았음. PEFT 방법이 제안되었음 : 몇개의 파라미터만 조정하는 방식임. LoRA의 경우에는 두 개의 행렬을 병렬로 사용, 고정된 선형 layer를 사용하며, 훈련중에 훈련가능한 파라미터가 적었음. >.. 2024. 3. 19. [2024-1] 박태호 - Visual Question Answering https://arxiv.org/abs/1505.00468 VQA: Visual Question Answering We propose the task of free-form and open-ended Visual Question Answering (VQA). Given an image and a natural language question about the image, the task is to provide an accurate natural language answer. Mirroring real-world scenarios, such as helping the arxiv.org 초록 free-form and open-ended task의 해결 방식으로 VQA를 제안한다. VQA는 image와 na.. 2024. 3. 19. [2024-1] 염제원 - HAE-RAE Bench: Evaluation of Korean Knowledge in Language Models https://arxiv.org/abs/2309.02706 HAE-RAE Bench: Evaluation of Korean Knowledge in Language Models Large Language Models (LLMs) trained on massive corpora demonstrate impressive capabilities in a wide range of tasks. While there are ongoing efforts to adapt these models to languages beyond English, the attention given to their evaluation methodologies r arxiv.org Abstract LLM 모델을 비영어권에 적용하려는 시도가 .. 2024. 3. 18. 이전 1 ··· 39 40 41 42 43 44 45 ··· 52 다음
