Computer Vision133 [2025-1] 전윤경- Roformer: Enhanced Transformer with Rotary Position Embedding IntroductionRoPE: 회전 행렬을 사용하여 절대적인 위치를 인코딩하고 self attention 공식에 명시적인 상대적 위치 의존성을 통합함.유연한 시퀀스 길이 지원상대적 거리가 증가함에 따라 토큰 간의 의존도 감소linear self-attention 메커니즘에서도 상대적 위치 인코딩을 적용할 수 있는 능력 갖춤Roformer: 회전 위치 임베딩(RoPE)을 적용한 Transformer 모델 -> 기존 방법보다 우수한 성능 Background and Related Workpreliminary$ S_{N}=\left\{w_{i} \right\}_{i=1}^{N}$ : N개 인풋 토큰의 시퀀스.$ E_{N}=\left\{x_{i} \right\}_{i=1}^{N}$ : PE 가 적용되지.. 2025. 1. 31. [2025-1] 전연주 - GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints 논문 링크: 2305.132451. Attention 개요GQA를 이해하기 위해 Transformer 모델에서 사용되는 주요 Attention 기법을 정리한다.Multi-Head Attention (MHA)Transformer 모델의 핵심 구조로, Attention Is All You Need (2017) 논문에서 제안됨.Query(Q), Key(K), Value(V)를 여러 개의 Head로 나누어 병렬 연산 수행.장점: 다양한 의미 표현을 학습할 수 있어 모델 성능 향상.단점: 메모리 사용량이 많고, 연산량이 크며, 병목 현상이 발생할 가능성이 있음.KV Cached AttentionAutoRegressive Inference에서 이전 token에 대한 Key-Value(KV) 연산을 저장하는 방식.W.. 2025. 1. 31. [2025-1] 전연주 - Latent Consistency Models : Synthesizing High-Resolution ImagesWith Few-Step Inference 논문 링크: 2310.04378 참고 유튜브 링크: [Open DMQA Seminar] Accelerating Diffusion Models - Consistency Models and Hybrid Approach - YouTube 참고 논문 리뷰 블로그 링크: Latent Consistency Models : Synthesizing High-Resolution ImagesWith Few-Step Inference 논문 리뷰 :: LOEWEN Latent Consistency Models : Synthesizing High-Resolution ImagesWith Few-Step Inference 논문 리뷰0. 요약문제의식이 논문은 고해상도 이미지 생성을 위한 Latent Diffusion Models의 .. 2025. 1. 25. [2025-1] 임수연 - Photo-Realistic Single Image Super-Resolution Using a Generative AdversarialNetwork https://arxiv.org/pdf/1609.048021. Introduction이번 포스팅에서는 단일 이미지 초해상도(Single Image Super-Resolution, SISR)를 위한 SRGAN (Super-Resolution Generative Adversarial Network) 논문을 살펴보겠습니다. SR은 저해상도(LR) 이미지를 고해상도(HR) 이미지로 복원하는 기술입니다.기존의 초해상도 모델들은 MSE 기반 손실 함수를 최적화하여 해상도를 높이지만 SRGAN에서는 GAN을 적용하여 texture detail을 향상하는 방법을 제안합니다.SRGAN의 핵심 모델로 SRGAN-VGG54가 사용되었으며 이는 VGG19의 5번째 컨볼루션 층의 4번째 활성화 출력을 기반으로 한 Percept.. 2025. 1. 25. 이전 1 ··· 13 14 15 16 17 18 19 ··· 34 다음
