본문 바로가기
  • 책상 밖 세상을 경험할 수 있는 Playground를 제공하고, 수동적 학습에서 창조의 삶으로의 전환을 위한 새로운 라이프 스타일을 제시합니다.

Miscellaneous84

[2025-1] 정성윤 - Visualizing the Loss Landscape of Neural Nets Introductionneural network 훈련은 매우 복잡하고 non-convex한 함수의 최소를 찾는 과정이다.훈련 parameter를 잘 설정하거나, optimizer를 잘 사용해 global minimum을 쉽게 구할 수 도 있지만 이론보다는 실제 코드 실행으로 결과를 얻어내는 딥러닝의 특성상 이는 매우 불확실한 알고리즘. → 우리는 더 확실하게 loss를 구할 수 있는 이론적 배경이 필요하다.본 논문에서는 더 쉽게 loss를 구할 수 있는 방법으로 주어진 함수의 ‘시각화’가 선행되어야 한다고 주장. → 주어진 loss에서 서로 다른 network의 선택이 최소화하는 과정, loss landscape에 어떠한 영향을 주는지 평가하고자 함.Contributions일반적인 시각화 방법으로는 복잡.. 2025. 3. 30.
[2025-1] 임준수 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.1,5.6) 계산 그래프, Affine/Softmax 계층 구현 5.1 계산 그래프계산 그래프는 계산 과정을 그래프로 나타낸 것이다. 여기에서의 그래프는 그래프 자료구조로, 복수의 노드와 에지로 표현된다.이번 절에서는 계산 그래프에 친숙해지기 위한 간단한 문제를 풀어볼 것이다.간단한 문제를 풀어본 이후 오차역전파법까지 도달할 것이다. 5.1.1 계산 그래프로 풀다그럼 간단한 문제를 계산 그래프를 사용해서 풀어보자.  곧 보게 될 문제는 암산으로도 풀 정도로 간단하지만 지금의 목적은 계산 그래프에 익숙해지는 것이다. 문제 1: 현빈 군은 슈퍼에서 1개에 100원인 사과를 2개 샀습니다.              이 때 지불 금액을 구하세요. 단, 소비세가 10% 부과됩니다.  계산 그래프는 계산 과정을 노드와 화살표로 표현한다. 노드는 원(O)으로 표기하고, 원 안에 연.. 2025. 3. 26.
[2025-1] 윤선우 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.3, 4) 역전파, 단순한 계층 구현하기 5.3. 역전파덧셈과 곱셈 연산 각각에 대한 역전파를 살펴본 후, 실전 문제에 적용해보자. 5.3.1. 덧셈 노드의 역전파z = x + y 라는 식을 대상으로 역전파를 했을 때, x, y 각각에 대한 미분값은 1이 된다. 이를 계산 그래프로 나타냈을 때는 다음과 같다. 즉, 덧셈 노드의 역전파는 상류에서 전해진 미분값을 그대로 하류로 보낸다. 가령 '10 + 5 = 15'라는 계산이 있고, 상류에서 1.3이라는 값이 흘러나올 때, 계산 그래프는 다음과 같다.5.3.2. 곱셈 노드의 역전파z = xy 라는 식을 대상으로 역전파를 했을 때, x, y 각각에 대한 미분값은 y, x가 된다. 이를 계산 그래프로 나타냈을 때는 다음과 같다. 즉, 곱셈 노드 역전파는 상류에서 전해진 값에 순전파 때의 입력 신호들을.. 2025. 3. 26.
[2025-1] 박경태 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 5.5) 활성화 함수 계층 구현하기 5.5 활성화 함수 계층 구현하기신경망에서 각 계층(layer)의 출력값에 비선형성을 부여해주는 것이 바로 활성화 함수다. 이 장에서는 대표적인 활성화 함수인 ReLU와 Sigmoid를 예로 들어, 그 동작 원리와 수식을 이해하고, 실제 코드로 어떻게 구현할 수 있는지 알아본다. 특히 역전파(backward) 과정에서의 계산 흐름까지 다루며, 신경망 학습의 핵심 개념을 직접 구현해볼 것이다.5.5.1 ReLU 계층🔹 ReLU 함수 정의 및 미분ReLU(Rectified Linear Unit) 함수는 다음과 같이 정의된다:\[ y = \begin{cases}  x & \text{if } x > 0 \\ 0 & \text{if } x \leq 0  \end{cases} \]이는 입력값이 0보다 크면 그대로.. 2025. 3. 26.

티스토리툴바