분류 전체보기148 [2024-1] 양소정 - How transferable are features in deep neural networks? https://arxiv.org/abs/1411.1792 How transferable are features in deep neural networks? Many deep neural networks trained on natural images exhibit a curious phenomenon in common: on the first layer they learn features similar to Gabor filters and color blobs. Such first-layer features appear not to be specific to a particular dataset or task arxiv.org general/specific의 관념적 정의 첫 번째 레이어에서 standard.. 2024. 3. 19. [2024-1] 박지연 - Deep learning : Yann LeCun1,2, Yoshua Bengio3 & Geoffrey Hinton4,5 / 2015 https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf Abstract Deep learning multiple processing layers로 구성된 계산 모델이 여러 수준의 추상화를 통해 데이터의 표현을 학습할 수 있도록 함 → 다양한 영역의 기술 수준을 향상 시킴 backpropagation algorithm(역전파 알고리즘) → 딥러닝이 사용하는 알고리즘으로 기계가 이전 계층의 표현에서 각 계층의 표현을 계산하는 데 사용되는 내부 매개 변수를 어떻게 변경하는지를 나타낸다 convolutional nets vs recurrent nets알고리즘 CNN RNN 주요 특징 이미지 데이터에 특화된 패턴 인식 순차적인 데이터(시계열 데이터)에서 시간.. 2024. 3. 19. [2024-1] 김동한 - ResLoRA: Identity Residual Mapping in Low-Rank Adaption Abstract LLM에서의 fine-tuning할때 효율성때문에 LoRA를 적용함. 그러나, 기존 모델의 계산 경로가 길기때문에, LoRA 가중치를 효과적으로 업데이트하기에는 어려움이 있음. > 이에 대한 해결책으로 ResLoRA 제안 : 훈련중에 residual path를 추가하고, 이후에 병합하는 과정으로 접근함으로써, 추론에서의 추가적인 경로를 제거하고, LoRA보다 효율적으로 파라미터와 추론 cost를 줄일 수 있음. Introduction LLM에서 수많은 파라미터에 의해 cost가 큰 경우가 많았음. PEFT 방법이 제안되었음 : 몇개의 파라미터만 조정하는 방식임. LoRA의 경우에는 두 개의 행렬을 병렬로 사용, 고정된 선형 layer를 사용하며, 훈련중에 훈련가능한 파라미터가 적었음. >.. 2024. 3. 19. [2024-1] 박태호 - Visual Question Answering https://arxiv.org/abs/1505.00468 VQA: Visual Question Answering We propose the task of free-form and open-ended Visual Question Answering (VQA). Given an image and a natural language question about the image, the task is to provide an accurate natural language answer. Mirroring real-world scenarios, such as helping the arxiv.org 초록 free-form and open-ended task의 해결 방식으로 VQA를 제안한다. VQA는 image와 na.. 2024. 3. 19. 이전 1 ··· 24 25 26 27 28 29 30 ··· 37 다음
