분류 전체보기271 [2024-2] 유경석 - Optimizer의 종류와 특성 https://arxiv.org/pdf/1609.04747https://arxiv.org/pdf/1412.6980https://arxiv.org/pdf/1711.05101 0. Gradient Descent란?Gradient descent는 model parameter $\theta$에 대한 손실함수 $J(\theta)$를 최소화시키기 위해서, 현재 시점에서의 변화량을 나타내는 $\triangledown J(\theta)$의 반대방향을 향해서 parameter를 업데이트하는 과정을 의미한다.쉽게 말해, 손실함수의 그래프가 만들고 있는 Downhill을 따라 내려가며 ($\triangledown J(\theta)$의 반대방향을 따라), Valley($\triangledown J(\theta)$의 최솟값)에.. 2024. 12. 13. [2024 - 2] 김동규 - MobileNet: Efficient Convolutional Neural Networks for Mobile Vision Application Abstract MobileNet은 성능 저하를 최소화하고 딥러닝 모델의 크기를 줄이는 것을 목표로 했습니다. 핸드폰이나 임베디드 시스템과 같이 저용량 메모리 환경에서 딥러닝 모델을 적용하기 위해서 파라미터를 감소 시켰고 감소시킨 파라미터만큼 층을 쌓아 성능을 높이는데 집중했습니다. MobilneNet의 경량화를 이해하기 위해서는 Depthwise separable convolution에 대한 개념이 필요합니다.1. Depthwise Separable ConvolutionDepthwise Separable Convolution은 Deptwise convolution 이후에 Pointwise Convolution을 결합한 형태입니다.(1) Depthwise Convolution Depthwise Convo.. 2024. 12. 8. [2024-2] 이재호 CNN의 역사 1 (2012~2015) 이번 포스팅에서는 2012년부터 2015년에 이르기까지 CNN의 다양한 모델들에 대해 알아보겠습니다. # 목차1. AlexNet (2012)2. RCNN (2013)3. VGGNet (2014)4. ResNet (2015) # AlexNet - ImageNet Classification with Deep Convolutional Neural Networkshttps://papers.nips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html ImageNet Classification with Deep Convolutional Neural NetworksRequests for name changes in the el.. 2024. 12. 8. [2024-2] 김영중 - Learning representations by back-propagating errors https://www.semanticscholar.org/paper/Learning-representations-by-back-propagating-errors-Rumelhart-Hinton/052b1d8ce63b07fec3de9dbb583772d860b7c769 www.semanticscholar.org 0. Abstract 신경망 학습의 핵심 아이디어: 역전파(back-propagation) 알고리즘네트워크의 출력 오류를 계산하고 가중치에 효율적으로 전달가중치 업데이트 수행으로 학습 성능 개선다층 퍼셉트론 신경망 학습에서 중요한 역할오류 전파를 위해 연쇄 법칙(chain rule) 사용반복적인 가중치 조정을 통해 최적화 수행1. Background 많은 시도가 있었던 self-organizing ne.. 2024. 12. 8. 이전 1 ··· 45 46 47 48 49 50 51 ··· 68 다음
