Miscellaneous85 [2025-1] 박경태 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.5) 활성화 함수 계층 구현하기 5.5 활성화 함수 계층 구현하기신경망에서 각 계층(layer)의 출력값에 비선형성을 부여해주는 것이 바로 활성화 함수다. 이 장에서는 대표적인 활성화 함수인 ReLU와 Sigmoid를 예로 들어, 그 동작 원리와 수식을 이해하고, 실제 코드로 어떻게 구현할 수 있는지 알아본다. 특히 역전파(backward) 과정에서의 계산 흐름까지 다루며, 신경망 학습의 핵심 개념을 직접 구현해볼 것이다.5.5.1 ReLU 계층🔹 ReLU 함수 정의 및 미분ReLU(Rectified Linear Unit) 함수는 다음과 같이 정의된다:\[ y = \begin{cases} x & \text{if } x > 0 \\ 0 & \text{if } x \leq 0 \end{cases} \]이는 입력값이 0보다 크면 그대로.. 2025. 3. 26. [2025-1] 박경태 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.2) 연쇄 법칙 1. 계산 그래프란 무엇인가?계산 그래프는 수학적 계산 과정을 시각적으로 표현한 그래프 구조로, 복잡한 함수도 단순한 노드(Node)와 엣지(Edge)로 분해하여 나타낼 수 있다. 각 노드는 하나의 연산(예: 덧셈, 곱셈, 제곱 등)을 나타내며, 변수 간의 연산 흐름을 방향성 있는 그래프로 나타낸다. 이러한 표현은 계산의 흐름을 직관적으로 이해하고, 특히 미분 계산에서 매우 유용하다.2. 계산 그래프를 통한 역전파의 개념역전파는 계산 그래프를 활용해 각 노드에서의 출력에 대한 입력 변수의 기울기(미분값)를 구하는 절차이다. 즉, 출력값에 영향을 미치는 각 입력값의 민감도를 계산하는 과정이다.예를 들어 y= f(x)라는 함수가 있을 때, 출력 yy가 다른 연산의 입력으로 사용된다면, 출력에 대한 미분값을 .. 2025. 3. 26. [2025-1] 임재열 - Instant Neural Graphics Primitives with a Multiresolution Hash Encoding (Instant NGP) Instant NGP는 2022년 NVIDIA에서 발표한 신경망 입력 인코딩 방식에 대한 논문입니다. [Instant NGP]https://arxiv.org/abs/2201.05989 Instant Neural Graphics Primitives with a Multiresolution Hash EncodingNeural graphics primitives, parameterized by fully connected neural networks, can be costly to train and evaluate. We reduce this cost with a versatile new input encoding that permits the use of a smaller network without sac.. 2025. 3. 22. [2025-1] 정유림 - GNN (GCN, GraphSAGE, GAT) PaperGCN : https://arxiv.org/abs/1609.02907GraphSAGE :https://arxiv.org/abs/1706.02216GAT : https://arxiv.org/pdf/1710.10903 1. 그래프 데이터 기본 개념그래프는 노드(Vertex)와 엣지(Edge) 로 이루어지며, 이를 수학적으로 다음과 같이 표현합니다.인접 행렬 (Adjacency Matrix), 노드 간 연결 관계를 나타냄.노드의 특징 행렬 (Feature Matrix), 각 노드의 feature 값을 포함. (초기 Feature가 GNN을 거치면서 학습되고, 최종적으로 Embedding이 됩니다.) 2. 그래프로 표현할 수 있는 데이터 예시분자 구조: 원자들이 노드, 결합이 엣지로 표현됨.소셜 네트.. 2025. 3. 16. 이전 1 ··· 4 5 6 7 8 9 10 ··· 22 다음
