본문 바로가기
  • 책상 밖 세상을 경험할 수 있는 Playground를 제공하고, 수동적 학습에서 창조의 삶으로의 전환을 위한 새로운 라이프 스타일을 제시합니다.

Miscellaneous78

[2025-1] 윤선우 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.3, 4) 역전파, 단순한 계층 구현하기 5.3. 역전파덧셈과 곱셈 연산 각각에 대한 역전파를 살펴본 후, 실전 문제에 적용해보자. 5.3.1. 덧셈 노드의 역전파z = x + y 라는 식을 대상으로 역전파를 했을 때, x, y 각각에 대한 미분값은 1이 된다. 이를 계산 그래프로 나타냈을 때는 다음과 같다. 즉, 덧셈 노드의 역전파는 상류에서 전해진 미분값을 그대로 하류로 보낸다. 가령 '10 + 5 = 15'라는 계산이 있고, 상류에서 1.3이라는 값이 흘러나올 때, 계산 그래프는 다음과 같다.5.3.2. 곱셈 노드의 역전파z = xy 라는 식을 대상으로 역전파를 했을 때, x, y 각각에 대한 미분값은 y, x가 된다. 이를 계산 그래프로 나타냈을 때는 다음과 같다. 즉, 곱셈 노드 역전파는 상류에서 전해진 값에 순전파 때의 입력 신호들을.. 2025. 3. 26.
[2025-1] 박경태 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.5) 활성화 함수 계층 구현하기 5.5 활성화 함수 계층 구현하기신경망에서 각 계층(layer)의 출력값에 비선형성을 부여해주는 것이 바로 활성화 함수다. 이 장에서는 대표적인 활성화 함수인 ReLU와 Sigmoid를 예로 들어, 그 동작 원리와 수식을 이해하고, 실제 코드로 어떻게 구현할 수 있는지 알아본다. 특히 역전파(backward) 과정에서의 계산 흐름까지 다루며, 신경망 학습의 핵심 개념을 직접 구현해볼 것이다.5.5.1 ReLU 계층🔹 ReLU 함수 정의 및 미분ReLU(Rectified Linear Unit) 함수는 다음과 같이 정의된다:\[ y = \begin{cases}  x & \text{if } x > 0 \\ 0 & \text{if } x \leq 0  \end{cases} \]이는 입력값이 0보다 크면 그대로.. 2025. 3. 26.
[2025-1] 박경태 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.2) 연쇄 법칙 1. 계산 그래프란 무엇인가?계산 그래프는 수학적 계산 과정을 시각적으로 표현한 그래프 구조로, 복잡한 함수도 단순한 노드(Node)와 엣지(Edge)로 분해하여 나타낼 수 있다. 각 노드는 하나의 연산(예: 덧셈, 곱셈, 제곱 등)을 나타내며, 변수 간의 연산 흐름을 방향성 있는 그래프로 나타낸다. 이러한 표현은 계산의 흐름을 직관적으로 이해하고, 특히 미분 계산에서 매우 유용하다.2. 계산 그래프를 통한 역전파의 개념역전파는 계산 그래프를 활용해 각 노드에서의 출력에 대한 입력 변수의 기울기(미분값)를 구하는 절차이다. 즉, 출력값에 영향을 미치는 각 입력값의 민감도를 계산하는 과정이다.예를 들어 y= f(x)라는 함수가 있을 때, 출력 yy가 다른 연산의 입력으로 사용된다면, 출력에 대한 미분값을 .. 2025. 3. 26.
[2025-1] 정유림 - GNN (GCN, GraphSAGE, GAT) PaperGCN : https://arxiv.org/abs/1609.02907GraphSAGE :https://arxiv.org/abs/1706.02216GAT : https://arxiv.org/pdf/1710.10903 1. 그래프 데이터 기본 개념그래프는 노드(Vertex)와 엣지(Edge) 로 이루어지며, 이를 수학적으로 다음과 같이 표현합니다.인접 행렬 (Adjacency Matrix), 노드 간 연결 관계를 나타냄.노드의 특징 행렬 (Feature Matrix), 각 노드의 feature 값을 포함. (초기 Feature가 GNN을 거치면서 학습되고, 최종적으로 Embedding이 됩니다.) 2. 그래프로 표현할 수 있는 데이터 예시분자 구조: 원자들이 노드, 결합이 엣지로 표현됨.소셜 네트.. 2025. 3. 16.

티스토리툴바