전체 글264 [2025-1] 박경태 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.5) 활성화 함수 계층 구현하기 5.5 활성화 함수 계층 구현하기신경망에서 각 계층(layer)의 출력값에 비선형성을 부여해주는 것이 바로 활성화 함수다. 이 장에서는 대표적인 활성화 함수인 ReLU와 Sigmoid를 예로 들어, 그 동작 원리와 수식을 이해하고, 실제 코드로 어떻게 구현할 수 있는지 알아본다. 특히 역전파(backward) 과정에서의 계산 흐름까지 다루며, 신경망 학습의 핵심 개념을 직접 구현해볼 것이다.5.5.1 ReLU 계층🔹 ReLU 함수 정의 및 미분ReLU(Rectified Linear Unit) 함수는 다음과 같이 정의된다:\[ y = \begin{cases} x & \text{if } x > 0 \\ 0 & \text{if } x \leq 0 \end{cases} \]이는 입력값이 0보다 크면 그대로.. 2025. 3. 26. [2025-1] 박경태 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.2) 연쇄 법칙 1. 계산 그래프란 무엇인가?계산 그래프는 수학적 계산 과정을 시각적으로 표현한 그래프 구조로, 복잡한 함수도 단순한 노드(Node)와 엣지(Edge)로 분해하여 나타낼 수 있다. 각 노드는 하나의 연산(예: 덧셈, 곱셈, 제곱 등)을 나타내며, 변수 간의 연산 흐름을 방향성 있는 그래프로 나타낸다. 이러한 표현은 계산의 흐름을 직관적으로 이해하고, 특히 미분 계산에서 매우 유용하다.2. 계산 그래프를 통한 역전파의 개념역전파는 계산 그래프를 활용해 각 노드에서의 출력에 대한 입력 변수의 기울기(미분값)를 구하는 절차이다. 즉, 출력값에 영향을 미치는 각 입력값의 민감도를 계산하는 과정이다.예를 들어 y= f(x)라는 함수가 있을 때, 출력 yy가 다른 연산의 입력으로 사용된다면, 출력에 대한 미분값을 .. 2025. 3. 26. [2025-1] 김유현 - Improved Training of Wasserstein GANs https://arxiv.org/abs/1704.00028 Improved Training of Wasserstein GANsGenerative Adversarial Networks (GANs) are powerful generative models, but suffer from training instability. The recently proposed Wasserstein GAN (WGAN) makes progress toward stable training of GANs, but sometimes can still generate only low-quality samplarxiv.org 0. AbstractGAN은 강력한 생성 모델이지만 학습 불안정성이 문제이다. WGAN은 학습 안정성을 개선했지.. 2025. 3. 22. [2025-1] 임재열 - Instant Neural Graphics Primitives with a Multiresolution Hash Encoding (Instant NGP) Instant NGP는 2022년 NVIDIA에서 발표한 신경망 입력 인코딩 방식에 대한 논문입니다. [Instant NGP]https://arxiv.org/abs/2201.05989 Instant Neural Graphics Primitives with a Multiresolution Hash EncodingNeural graphics primitives, parameterized by fully connected neural networks, can be costly to train and evaluate. We reduce this cost with a versatile new input encoding that permits the use of a smaller network without sac.. 2025. 3. 22. 이전 1 2 3 4 5 6 ··· 66 다음
