전체 글301 [2024-2] 박서형 - SqueezeNet, ShuffleNet https://arxiv.org/abs/1602.07360 SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and Recent research on deep neural networks has focused primarily on improving accuracy. For a given accuracy level, it is typically possible to identify multiple DNN architectures that achieve that accuracy level. With equivalent accuracy, smaller DNN architearxiv.org 1. Introduction and Motivation 1) .. 2024. 12. 14. [2024-2] 이재호 - RNN, LSTM, GRU RNN, LSTM, GRU는 모두 순환신경망(Recurrent neural networks)의 변형으로 순차적인 데이터(sequence data)를 처리하기 위해 설계된 알고리즘입니다. 각각의 알고리즘의 아키텍처와 특징에 대해 알아보겠습니다. # Fundamentals of Recurrent Neural Network(RNN) and Long Short-Term Memory (LSTM) Network - Alex Sherstinsky (2018)https://arxiv.org/abs/1808.03314 Fundamentals of Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) NetworkBecause of their effective.. 2024. 12. 13. [2024-2] 유경석 - Optimizer의 종류와 특성 https://arxiv.org/pdf/1609.04747https://arxiv.org/pdf/1412.6980https://arxiv.org/pdf/1711.05101 0. Gradient Descent란?Gradient descent는 model parameter $\theta$에 대한 손실함수 $J(\theta)$를 최소화시키기 위해서, 현재 시점에서의 변화량을 나타내는 $\triangledown J(\theta)$의 반대방향을 향해서 parameter를 업데이트하는 과정을 의미한다.쉽게 말해, 손실함수의 그래프가 만들고 있는 Downhill을 따라 내려가며 ($\triangledown J(\theta)$의 반대방향을 따라), Valley($\triangledown J(\theta)$의 최솟값)에.. 2024. 12. 13. [2024 - 2] 김동규 - MobileNet: Efficient Convolutional Neural Networks for Mobile Vision Application Abstract MobileNet은 성능 저하를 최소화하고 딥러닝 모델의 크기를 줄이는 것을 목표로 했습니다. 핸드폰이나 임베디드 시스템과 같이 저용량 메모리 환경에서 딥러닝 모델을 적용하기 위해서 파라미터를 감소 시켰고 감소시킨 파라미터만큼 층을 쌓아 성능을 높이는데 집중했습니다. MobilneNet의 경량화를 이해하기 위해서는 Depthwise separable convolution에 대한 개념이 필요합니다.1. Depthwise Separable ConvolutionDepthwise Separable Convolution은 Deptwise convolution 이후에 Pointwise Convolution을 결합한 형태입니다.(1) Depthwise Convolution Depthwise Convo.. 2024. 12. 8. 이전 1 ··· 52 53 54 55 56 57 58 ··· 76 다음
