분류 전체보기266 [2025-1] 박경태 - 밑바닥부터 시작하는 딥러닝(CH 4.5): 학습 알고리즘 구현하기 1. 신경망 학습 개요신경망 학습은 가중치 매개변수와 편향을 조정하여 학습 데이터를 모델에 최적화하는 과정이다.1.1 학습 알고리즘의 4단계미니배치훈련 데이터에서 일부를 무작위로 선택하여 미니배치를 만든다.미니배치의 손실 함수를 최소화하는 것이 목표.기울기 산출손실 함수를 줄이기 위해 각 가중치의 기울기를 구한다.기울기는 손실 함수 값이 가장 작아지는 방향을 나타냄.매개변수 개선가중치 매개변수를 기울기 방향으로 업데이트한다.반복1~3단계를 반복하여 최적 가중치를 찾는다.이 방법을 확률적 경사 하강법(SGD, Stochastic Gradient Descent) 이라고 한다.2. 2층 신경망 구현하기2층 신경망(은닉층 1개)을 하나의 클래스로 구현한다.이 클래스는 TwoLayerNet이며, 신경망의 기본 구.. 2025. 3. 12. [2025-1] 노하림 - Beyond Scalar Reward Model: Learning Generative Judge from Preference Data https://arxiv.org/html/2410.03742v2 Beyond Scalar Reward Model: Learning Generative Judge from Preference DataBeyond Scalar Reward Model: Learning Generative Judge from Preference Data Ziyi Ye1, Xiangsheng Li2, Qiuchi Li3, Qingyao Ai1, Yujia Zhou1, Wei Shen2, Dong Yan2, Yiqun Liu1 1Department of Computer Science and Technology, Tsinghua University 2Baichuan AI arxiv.orgAbstract기존 방식에서는 preferen.. 2025. 3. 10. [2025-1] 박서형 - Gradient Episodic Memory for Continual Learning [1706.08840] Gradient Episodic Memory for Continual Learning Gradient Episodic Memory for Continual LearningOne major obstacle towards AI is the poor ability of models to solve new problems quicker, and without forgetting previously acquired knowledge. To better understand this issue, we study the problem of continual learning, where the model observes, once andarxiv.org 0. Abstract AI는 새로운 과제를.. 2025. 3. 8. [2025-1] 황징아이 - Dynamic Routing Between Capsules NIPS 2017년 논문저자 : Sara Sabour, Nicholas Frosst, Geoffrey E. Hinton논문 : https://arxiv.org/pdf/1710.09829 2017년 Google Brain의 Geoffrey E. Hinton이 발표한 Object Recognition 분야의 새로운 접근방법을 제안한 논문이다. 기존의 Object Recognition모델들은 Convolution Network를 기반으로 설계되어있다. Convolution Network는 feature extracting - max pooling 로 이루어져있다. 여기서 maxpooling의 정보손실 문제를 지적하며 CapsuleNet를 소개했다. 1. 개념이해Invariance vs. Equivarianc.. 2025. 3. 8. 이전 1 ··· 5 6 7 8 9 10 11 ··· 67 다음
