분류 전체보기371 [2025-2] 김지은 - DN-DETR: Accelerate DETR Training by Introducing Query DeNoising 본 글에서는 DETR(ECCV 2020)의 bipartite matching 기반 학습 과정에서 발생하는 수렴 속도 문제를 개선하기 위해 제안된 DN-DETR(CVPR 2022)을 살펴본다. 1. Introduction2020년 제안된 DETR은 기존 객체 탐지 파이프라인에서 필수적으로 사용되던 anchor 설계, proposal 생성, NMS 등의 복잡성을 제거하고, 객체 탐지를 end-to-end 방식으로 최적화한 모델이다. [ ⚠️ DETR의 한계 ] - 느린 학습 수렴 속도 그러나 이 구조적 단순성에도 불구하고, DETR은 기존 CNN 기반 탐지기들에 비해 학습 수렴 속도가 현저히 느리다는 한계를 가진다.예를 들어, COCO detection dataset에서 기존 Faster R-CNN이 약 1.. 2026. 1. 17. [25-2] 정재훈 - EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks https://arxiv.org/abs/1905.11946 이 논문에서는 모델의 정확도를 효율적으로 높이기 위하여 깊이, 너비, 해상도를 어떻게 상승시켜야 하는가를 연구합니다. Related Work 이전 연구([1],[2])들에 따르면 ImageNet에서 높은 성능을 내는 모델들 전이학습이나, 객체 탐지에서도 높은 성능을 가집니다.이에 ImageNet 성능은 범용적인 지표로 사용할 수 있습니다.GoogleNet(2014)74.8%6.8M parametersSENet(2017)82.7%145M parametersGPipe84.3%557M parameters 이처럼 정확도가 높은 모델들은 파라미터 수가 증가하는 경향이 있습니다.하지만 하드웨어 메모리는 한계가 있기 때문에 더 높은 정확도를 위해서는 컴퓨팅.. 2026. 1. 10. [25-2] 김효민 - ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 본 글에서는 "모바일 및 임베디드 환경에서 CNN을 얼마나 가볍게 만들 수 있는가?"라는 주제를 중심으로,모바일 환경에서의 활용을 위한 경량화를 목표로 하는 3가지 모델을 다뤄보고자 한다. - SqueezeNet (2016)- MobileNet (2017)- ShuffleNet (2017) 0. 다양한 Convolution 구조들위 모델들의 구조를 살펴보기 전에 다양한 convolution 구조에 대해 공부하면 모델의 구조를 이해하기 쉽다. 다음 링크에서 convolution 구조에 대해 잘 설명하고 있다. 링크의 글 중 특히 아래 적어 놓은 Convolution 구조들을 이해한 다음에 이어서 본 블로그의 글을 읽어보기 바란다.- 1. Convolution- 5. Depthwise Convolution-.. 2026. 1. 3. [2025-2] 강민정 - ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION (ICLR, 2015) - AdamDECOUPLED WEIGHT DECAY REGULARIZATION (ICLR, 2019) - AdamWAn overview of gradient descent optimization algorithms (2017) - Momentum, RMSProp 참고 1️⃣Momentum개념기본적인 SGD(확률적 경사 하강법)가 경사를 따라 조금씩 내려가는 방식이라면, Momentum은 물리학의 관성 개념을 도입한 방식이다. 공이 언덕을 굴러 내려갈 때 중력 가속도를 받아 속도가 점점 빨라지는 것처럼, 현재의 기울기뿐만 아니라 과거의 속도를 반영하여 파라미터를 업데이트한다.해결하고자 한 문제: 진동(Osc.. 2026. 1. 3. 이전 1 2 3 4 ··· 93 다음
