분류 전체보기271 [2025-1] 유경석 - Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference (LCM) https://arxiv.org/pdf/2310.04378 https://blog.outta.ai/171 [2025-1] Latent Consistency Models : Synthesizing High-Resolution ImagesWith Few-Step Inference논문 링크: 2310.04378 참고 논문 리뷰 블로그 링크: Latent Consistency Models : Synthesizing High-Resolution ImagesWith Few-Step Inference 논문 리뷰 :: LOEWEN Latent Consistency Models : Synthesizing High-Resolution ImagesWith Few-Stblog.outta.ai SummaryStable Dif.. 2025. 2. 1. [2025-1] 주서영 - SRDiff : Single image super-resolution with diffusion probabilistic models SRDiff SRDiff: Single Image Super-Resolution with Diffusion Probabilistic ModelsSingle image super-resolution (SISR) aims to reconstruct high-resolution (HR) images from the given low-resolution (LR) ones, which is an ill-posed problem because one LR image corresponds to multiple HR images. Recently, learning-based SISR methods have garxiv.orgNeurocomputing 2021611회 인용※ 참고SR3 Image Super-Resolut.. 2025. 2. 1. [2025-1] 전윤경- Roformer: Enhanced Transformer with Rotary Position Embedding IntroductionRoPE: 회전 행렬을 사용하여 절대적인 위치를 인코딩하고 self attention 공식에 명시적인 상대적 위치 의존성을 통합함.유연한 시퀀스 길이 지원상대적 거리가 증가함에 따라 토큰 간의 의존도 감소linear self-attention 메커니즘에서도 상대적 위치 인코딩을 적용할 수 있는 능력 갖춤Roformer: 회전 위치 임베딩(RoPE)을 적용한 Transformer 모델 -> 기존 방법보다 우수한 성능 Background and Related Workpreliminary$ S_{N}=\left\{w_{i} \right\}_{i=1}^{N}$ : N개 인풋 토큰의 시퀀스.$ E_{N}=\left\{x_{i} \right\}_{i=1}^{N}$ : PE 가 적용되지.. 2025. 1. 31. [2025-1] 전연주 - GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints 논문 링크: 2305.132451. Attention 개요GQA를 이해하기 위해 Transformer 모델에서 사용되는 주요 Attention 기법을 정리한다.Multi-Head Attention (MHA)Transformer 모델의 핵심 구조로, Attention Is All You Need (2017) 논문에서 제안됨.Query(Q), Key(K), Value(V)를 여러 개의 Head로 나누어 병렬 연산 수행.장점: 다양한 의미 표현을 학습할 수 있어 모델 성능 향상.단점: 메모리 사용량이 많고, 연산량이 크며, 병목 현상이 발생할 가능성이 있음.KV Cached AttentionAutoRegressive Inference에서 이전 token에 대한 Key-Value(KV) 연산을 저장하는 방식.W.. 2025. 1. 31. 이전 1 ··· 23 24 25 26 27 28 29 ··· 68 다음
