Miscellaneous58 [2025-1] 박제우 - TabNet : Attentive Interpretable Tabular Learning https://arxiv.org/abs/1908.07442 TabNet: Attentive Interpretable Tabular LearningWe propose a novel high-performance and interpretable canonical deep tabular data learning architecture, TabNet. TabNet uses sequential attention to choose which features to reason from at each decision step, enabling interpretability and more efficient learxiv.org https://www.intelligencelabs.tech/a5b4fc25-1500-4d1.. 2025. 3. 15. [2025-1] 임준수 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 4.2) 손실함수 손실 함수 (Loss Function)신경망 학습에서는 현재의 상태를 '하나의 지표'로 표현한다. 그리고 그 지표를 가장 좋게 만들어주는 가중치 매개변수의 값을 탐색하는 과정을 거친다.신경망 학습에서 사용하는 지표는 손실함수라고 한다. 이 손실함수는 임의의 함수를 사용할 수도 있지만 일반적으로는 평균 제곱 오차와 교차 엔트로피 오차를 사용한다.즉, 손실함수는 현재의 신경망이 훈련 데이터를 얼마나 잘 처리하지 못하느냐를 나타낸다. 때문에 손실함수의 값은 낮을수록 좋다. 평균 제곱 오차 (mean squared error)평균 제곱 오차의 수식은 아래와 같다. 여기서 y는 신경망의 출력(신경망이 추정한 값),. t는 정답 레이블, k는 데이터의 차원 수를 나타낸다.아래와 같은 원소 10개의 데이터가 있다고 .. 2025. 3. 12. [2025-1] 윤선우 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 4.3) 수치 미분 모델을 학습시키는 과정에서 사용되는 손실함수 중 함수의 기울기를 활용하는 경사법을 보다 잘 이해하기 위한 장이다.1. 미분미분은 한 순간의 변화량(어느 순간의 속도)이며, 수식으로는 다음과 같이 표현된다: 이를 파이썬으로 구현하면 다음과 같다:def numerical_diff(f, x): h = 10e-50 return (f(x+h) - f(x)) / h 그러나 이 코드는 두 가지 오류가 있다.첫째, 반올림 오차 문제를 일으킨다. h 값이 너무 작아지면 컴퓨터로 계산하는 데 문제가 된다. 따라서 h 값을 10**(-4)로 적절히 수정해본다.둘째, 위 코드에서는 (x + h)와 x 사이의 기울기를 구현하고 있지만, 이는 엄밀히 진정한 접선과 일치하지 않는다. 이는 h를 무한히 0으로 좁히는 것이 불가.. 2025. 3. 12. [2025-1] 박경태 - 밑바닥부터 시작하는 딥러닝(CH 4.5): 학습 알고리즘 구현하기 1. 신경망 학습 개요신경망 학습은 가중치 매개변수와 편향을 조정하여 학습 데이터를 모델에 최적화하는 과정이다.1.1 학습 알고리즘의 4단계미니배치훈련 데이터에서 일부를 무작위로 선택하여 미니배치를 만든다.미니배치의 손실 함수를 최소화하는 것이 목표.기울기 산출손실 함수를 줄이기 위해 각 가중치의 기울기를 구한다.기울기는 손실 함수 값이 가장 작아지는 방향을 나타냄.매개변수 개선가중치 매개변수를 기울기 방향으로 업데이트한다.반복1~3단계를 반복하여 최적 가중치를 찾는다.이 방법을 확률적 경사 하강법(SGD, Stochastic Gradient Descent) 이라고 한다.2. 2층 신경망 구현하기2층 신경망(은닉층 1개)을 하나의 클래스로 구현한다.이 클래스는 TwoLayerNet이며, 신경망의 기본 구.. 2025. 3. 12. 이전 1 2 3 4 5 ··· 15 다음
