전체 글78 [2024-1] 백승우 - Denoising Diffusion Probabilistic Models Denoising Diffusion Probabilistic Models We present high quality image synthesis results using diffusion probabilistic models, a class of latent variable models inspired by considerations from nonequilibrium thermodynamics. Our best results are obtained by training on a weighted variational bound arxiv.org 0. Abstract 확산 확률 모델과 랑게빈 역학과의 노이즈 제거 점수 매칭 사이의 새로운 연결에 따라 설계된 가중 가변 바운드에 대한 훈련을 통해 최상의 결과.. 2024. 3. 20. [2024-1] 양소정 - How transferable are features in deep neural networks? https://arxiv.org/abs/1411.1792 How transferable are features in deep neural networks? Many deep neural networks trained on natural images exhibit a curious phenomenon in common: on the first layer they learn features similar to Gabor filters and color blobs. Such first-layer features appear not to be specific to a particular dataset or task arxiv.org general/specific의 관념적 정의 첫 번째 레이어에서 standard.. 2024. 3. 19. [2024-1] 박지연 - Deep learning : Yann LeCun1,2, Yoshua Bengio3 & Geoffrey Hinton4,5 / 2015 https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf Abstract Deep learning multiple processing layers로 구성된 계산 모델이 여러 수준의 추상화를 통해 데이터의 표현을 학습할 수 있도록 함 → 다양한 영역의 기술 수준을 향상 시킴 backpropagation algorithm(역전파 알고리즘) → 딥러닝이 사용하는 알고리즘으로 기계가 이전 계층의 표현에서 각 계층의 표현을 계산하는 데 사용되는 내부 매개 변수를 어떻게 변경하는지를 나타낸다 convolutional nets vs recurrent nets알고리즘 CNN RNN 주요 특징 이미지 데이터에 특화된 패턴 인식 순차적인 데이터(시계열 데이터)에서 시간.. 2024. 3. 19. [2024-1] 김동한 - ResLoRA: Identity Residual Mapping in Low-Rank Adaption Abstract LLM에서의 fine-tuning할때 효율성때문에 LoRA를 적용함. 그러나, 기존 모델의 계산 경로가 길기때문에, LoRA 가중치를 효과적으로 업데이트하기에는 어려움이 있음. > 이에 대한 해결책으로 ResLoRA 제안 : 훈련중에 residual path를 추가하고, 이후에 병합하는 과정으로 접근함으로써, 추론에서의 추가적인 경로를 제거하고, LoRA보다 효율적으로 파라미터와 추론 cost를 줄일 수 있음. Introduction LLM에서 수많은 파라미터에 의해 cost가 큰 경우가 많았음. PEFT 방법이 제안되었음 : 몇개의 파라미터만 조정하는 방식임. LoRA의 경우에는 두 개의 행렬을 병렬로 사용, 고정된 선형 layer를 사용하며, 훈련중에 훈련가능한 파라미터가 적었음. >.. 2024. 3. 19. 이전 1 ··· 6 7 8 9 10 11 12 ··· 20 다음
