Miscellaneous73 [2025-1] 박경태 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.5) 활성화 함수 계층 구현하기 5.5 활성화 함수 계층 구현하기신경망에서 각 계층(layer)의 출력값에 비선형성을 부여해주는 것이 바로 활성화 함수다. 이 장에서는 대표적인 활성화 함수인 ReLU와 Sigmoid를 예로 들어, 그 동작 원리와 수식을 이해하고, 실제 코드로 어떻게 구현할 수 있는지 알아본다. 특히 역전파(backward) 과정에서의 계산 흐름까지 다루며, 신경망 학습의 핵심 개념을 직접 구현해볼 것이다.5.5.1 ReLU 계층🔹 ReLU 함수 정의 및 미분ReLU(Rectified Linear Unit) 함수는 다음과 같이 정의된다:\[ y = \begin{cases} x & \text{if } x > 0 \\ 0 & \text{if } x \leq 0 \end{cases} \]이는 입력값이 0보다 크면 그대로.. 2025. 3. 26. [2025-1] 박경태 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.2) 연쇄 법칙 1. 계산 그래프란 무엇인가?계산 그래프는 수학적 계산 과정을 시각적으로 표현한 그래프 구조로, 복잡한 함수도 단순한 노드(Node)와 엣지(Edge)로 분해하여 나타낼 수 있다. 각 노드는 하나의 연산(예: 덧셈, 곱셈, 제곱 등)을 나타내며, 변수 간의 연산 흐름을 방향성 있는 그래프로 나타낸다. 이러한 표현은 계산의 흐름을 직관적으로 이해하고, 특히 미분 계산에서 매우 유용하다.2. 계산 그래프를 통한 역전파의 개념역전파는 계산 그래프를 활용해 각 노드에서의 출력에 대한 입력 변수의 기울기(미분값)를 구하는 절차이다. 즉, 출력값에 영향을 미치는 각 입력값의 민감도를 계산하는 과정이다.예를 들어 y= f(x)라는 함수가 있을 때, 출력 yy가 다른 연산의 입력으로 사용된다면, 출력에 대한 미분값을 .. 2025. 3. 26. [2025-1] 정유림 - GNN (GCN, GraphSAGE, GAT) PaperGCN : https://arxiv.org/abs/1609.02907GraphSAGE :https://arxiv.org/abs/1706.02216GAT : https://arxiv.org/pdf/1710.10903 1. 그래프 데이터 기본 개념그래프는 노드(Vertex)와 엣지(Edge) 로 이루어지며, 이를 수학적으로 다음과 같이 표현합니다.인접 행렬 (Adjacency Matrix), 노드 간 연결 관계를 나타냄.노드의 특징 행렬 (Feature Matrix), 각 노드의 feature 값을 포함. (초기 Feature가 GNN을 거치면서 학습되고, 최종적으로 Embedding이 됩니다.) 2. 그래프로 표현할 수 있는 데이터 예시분자 구조: 원자들이 노드, 결합이 엣지로 표현됨.소셜 네트.. 2025. 3. 16. [2025-1] 박제우 - TabNet : Attentive Interpretable Tabular Learning https://arxiv.org/abs/1908.07442 TabNet: Attentive Interpretable Tabular LearningWe propose a novel high-performance and interpretable canonical deep tabular data learning architecture, TabNet. TabNet uses sequential attention to choose which features to reason from at each decision step, enabling interpretability and more efficient learxiv.org https://www.intelligencelabs.tech/a5b4fc25-1500-4d1.. 2025. 3. 15. 이전 1 2 3 4 5 6 7 8 ··· 19 다음
