Miscellaneous76 [2025-1] 박경태 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.2) 연쇄 법칙 1. 계산 그래프란 무엇인가?계산 그래프는 수학적 계산 과정을 시각적으로 표현한 그래프 구조로, 복잡한 함수도 단순한 노드(Node)와 엣지(Edge)로 분해하여 나타낼 수 있다. 각 노드는 하나의 연산(예: 덧셈, 곱셈, 제곱 등)을 나타내며, 변수 간의 연산 흐름을 방향성 있는 그래프로 나타낸다. 이러한 표현은 계산의 흐름을 직관적으로 이해하고, 특히 미분 계산에서 매우 유용하다.2. 계산 그래프를 통한 역전파의 개념역전파는 계산 그래프를 활용해 각 노드에서의 출력에 대한 입력 변수의 기울기(미분값)를 구하는 절차이다. 즉, 출력값에 영향을 미치는 각 입력값의 민감도를 계산하는 과정이다.예를 들어 y= f(x)라는 함수가 있을 때, 출력 yy가 다른 연산의 입력으로 사용된다면, 출력에 대한 미분값을 .. 2025. 3. 26. [2025-1] 정유림 - GNN (GCN, GraphSAGE, GAT) PaperGCN : https://arxiv.org/abs/1609.02907GraphSAGE :https://arxiv.org/abs/1706.02216GAT : https://arxiv.org/pdf/1710.10903 1. 그래프 데이터 기본 개념그래프는 노드(Vertex)와 엣지(Edge) 로 이루어지며, 이를 수학적으로 다음과 같이 표현합니다.인접 행렬 (Adjacency Matrix), 노드 간 연결 관계를 나타냄.노드의 특징 행렬 (Feature Matrix), 각 노드의 feature 값을 포함. (초기 Feature가 GNN을 거치면서 학습되고, 최종적으로 Embedding이 됩니다.) 2. 그래프로 표현할 수 있는 데이터 예시분자 구조: 원자들이 노드, 결합이 엣지로 표현됨.소셜 네트.. 2025. 3. 16. [2025-1] 박제우 - TabNet : Attentive Interpretable Tabular Learning https://arxiv.org/abs/1908.07442 TabNet: Attentive Interpretable Tabular LearningWe propose a novel high-performance and interpretable canonical deep tabular data learning architecture, TabNet. TabNet uses sequential attention to choose which features to reason from at each decision step, enabling interpretability and more efficient learxiv.org https://www.intelligencelabs.tech/a5b4fc25-1500-4d1.. 2025. 3. 15. [2025-1] 임준수 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 4.2) 손실함수 손실 함수 (Loss Function)신경망 학습에서는 현재의 상태를 '하나의 지표'로 표현한다. 그리고 그 지표를 가장 좋게 만들어주는 가중치 매개변수의 값을 탐색하는 과정을 거친다.신경망 학습에서 사용하는 지표는 손실함수라고 한다. 이 손실함수는 임의의 함수를 사용할 수도 있지만 일반적으로는 평균 제곱 오차와 교차 엔트로피 오차를 사용한다.즉, 손실함수는 현재의 신경망이 훈련 데이터를 얼마나 잘 처리하지 못하느냐를 나타낸다. 때문에 손실함수의 값은 낮을수록 좋다. 평균 제곱 오차 (mean squared error)평균 제곱 오차의 수식은 아래와 같다. 여기서 y는 신경망의 출력(신경망이 추정한 값),. t는 정답 레이블, k는 데이터의 차원 수를 나타낸다.아래와 같은 원소 10개의 데이터가 있다고 .. 2025. 3. 12. 이전 1 ··· 3 4 5 6 7 8 9 ··· 19 다음
