본문 바로가기
  • 책상 밖 세상을 경험할 수 있는 Playground를 제공하고, 수동적 학습에서 창조의 삶으로의 전환을 위한 새로운 라이프 스타일을 제시합니다.

Miscellaneous58

[2025-1] 임준수 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.1,5.6) 계산 그래프, Affine/Softmax 계층 구현 5.1 계산 그래프계산 그래프는 계산 과정을 그래프로 나타낸 것이다. 여기에서의 그래프는 그래프 자료구조로, 복수의 노드와 에지로 표현된다.이번 절에서는 계산 그래프에 친숙해지기 위한 간단한 문제를 풀어볼 것이다.간단한 문제를 풀어본 이후 오차역전파법까지 도달할 것이다. 5.1.1 계산 그래프로 풀다그럼 간단한 문제를 계산 그래프를 사용해서 풀어보자.  곧 보게 될 문제는 암산으로도 풀 정도로 간단하지만 지금의 목적은 계산 그래프에 익숙해지는 것이다. 문제 1: 현빈 군은 슈퍼에서 1개에 100원인 사과를 2개 샀습니다.              이 때 지불 금액을 구하세요. 단, 소비세가 10% 부과됩니다.  계산 그래프는 계산 과정을 노드와 화살표로 표현한다. 노드는 원(O)으로 표기하고, 원 안에 연.. 2025. 3. 26.
[2025-1] 윤선우 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.3, 4) 역전파, 단순한 계층 구현하기 5.3. 역전파덧셈과 곱셈 연산 각각에 대한 역전파를 살펴본 후, 실전 문제에 적용해보자. 5.3.1. 덧셈 노드의 역전파z = x + y 라는 식을 대상으로 역전파를 했을 때, x, y 각각에 대한 미분값은 1이 된다. 이를 계산 그래프로 나타냈을 때는 다음과 같다. 즉, 덧셈 노드의 역전파는 상류에서 전해진 미분값을 그대로 하류로 보낸다. 가령 '10 + 5 = 15'라는 계산이 있고, 상류에서 1.3이라는 값이 흘러나올 때, 계산 그래프는 다음과 같다.5.3.2. 곱셈 노드의 역전파z = xy 라는 식을 대상으로 역전파를 했을 때, x, y 각각에 대한 미분값은 y, x가 된다. 이를 계산 그래프로 나타냈을 때는 다음과 같다. 즉, 곱셈 노드 역전파는 상류에서 전해진 값에 순전파 때의 입력 신호들을.. 2025. 3. 26.
[2025-1] 박경태 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.5) 활성화 함수 계층 구현하기 5.5 활성화 함수 계층 구현하기신경망에서 각 계층(layer)의 출력값에 비선형성을 부여해주는 것이 바로 활성화 함수다. 이 장에서는 대표적인 활성화 함수인 ReLU와 Sigmoid를 예로 들어, 그 동작 원리와 수식을 이해하고, 실제 코드로 어떻게 구현할 수 있는지 알아본다. 특히 역전파(backward) 과정에서의 계산 흐름까지 다루며, 신경망 학습의 핵심 개념을 직접 구현해볼 것이다.5.5.1 ReLU 계층🔹 ReLU 함수 정의 및 미분ReLU(Rectified Linear Unit) 함수는 다음과 같이 정의된다:\[ y = \begin{cases}  x & \text{if } x > 0 \\ 0 & \text{if } x \leq 0  \end{cases} \]이는 입력값이 0보다 크면 그대로.. 2025. 3. 26.
[2025-1] 박경태 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.2) 연쇄 법칙 1. 계산 그래프란 무엇인가?계산 그래프는 수학적 계산 과정을 시각적으로 표현한 그래프 구조로, 복잡한 함수도 단순한 노드(Node)와 엣지(Edge)로 분해하여 나타낼 수 있다. 각 노드는 하나의 연산(예: 덧셈, 곱셈, 제곱 등)을 나타내며, 변수 간의 연산 흐름을 방향성 있는 그래프로 나타낸다. 이러한 표현은 계산의 흐름을 직관적으로 이해하고, 특히 미분 계산에서 매우 유용하다.2. 계산 그래프를 통한 역전파의 개념역전파는 계산 그래프를 활용해 각 노드에서의 출력에 대한 입력 변수의 기울기(미분값)를 구하는 절차이다. 즉, 출력값에 영향을 미치는 각 입력값의 민감도를 계산하는 과정이다.예를 들어 y= f(x)라는 함수가 있을 때, 출력 yy가 다른 연산의 입력으로 사용된다면, 출력에 대한 미분값을 .. 2025. 3. 26.

티스토리툴바