아담1 [2025-2] 김지원 - ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION 논문 제목: "ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION"논문 정보: ICLR 2015에서 발표된 논문논문 링크: https://arxiv.org/pdf/1412.69800. 초록저자는 lower-order momentum의 adaptive estimates(적응적 추정치)를 기반으로 하는 확률론적 목표 함수의 1차 gradient 기반 최적화 알고리즘인 ADAM을 소개 다시 말해Adam은 1차 moment인 평균과 2차 moment인 비중심화된 분산(uncentered variance)을 활용하고, 이에 대한 적응적 추정치를 활용하여 stepsize를 파라미터 별로 조정한다 이 방법은 실행하기 편하고 계산적으로 효율적이며, 적은 메모리 양으로 요구하는 동시에 grad.. 2025. 12. 15. 이전 1 다음
