전체 글269 [2025-1] 윤선우 - 밑바닥부터 시작하는 딥러닝 리뷰, (CH 2.1, 2.2) 퍼셉트론과 단순한 논리 회로 밑바닥부터 시작하는 딥러닝딥러닝 분야 부동의 베스트셀러!머리로 이해하고 손으로 익히는 가장 쉬운 딥러닝 입문서 이 책은 딥러닝의 핵심 개념을 ‘밑바닥부터’ 구현해보며 기초를 한 걸음씩 탄탄하게 다질 수 있도www.google.com1. 퍼셉트론이란?1957년 프랑크 로젠블라트가 고안한 알고리즘으로, 아주 오래 됐지만 딥러닝과 신경망의 기원이 됐다. 다수의 신호를 입력값으로 가지며, 이를 통해 하나의 신호를 출력한다. 이때의 신호는 정보의 “흐름”이며, 출력값은 둘 중 하나이다: 신호가 흐른다(=1), 신호가 흐르지 않는다 (=0) 입력값에 가중치를 곱한 후 더한 값이 한계(=임계값, θ)를 넘어서면 1, 넘어서지 못하면 0을 출력한다. 이를 식으로 나타내면 다음과 같다. 이때 가중치는 클수록 그 값이 .. 2025. 3. 4. [2025-1] 백승우 - Perplexed by Perplexity: Perplexity-Based DataPruning With Small Reference Models Perplexed by Perplexity: Perplexity-Based Data Pruning With Small Reference ModelsIn this work, we investigate whether small language models can determine high-quality subsets of large-scale text datasets that improve the performance of larger language models. While existing work has shown that pruning based on the perplexity of a largearxiv.org1. Methods전체 dataset 중에서 일부 data를 사용하여, perplexity를.. 2025. 3. 3. [2025-1] 백승우 - Data Selection for Language Models via Importance Resampling Data Selection for Language Models via Importance ResamplingSelecting a suitable pretraining dataset is crucial for both general-domain (e.g., GPT-3) and domain-specific (e.g., Codex) language models (LMs). We formalize this problem as selecting a subset of a large raw unlabeled dataset to match a desired target diarxiv.org1. MethodDSIR FrameworkLarge raw dataset에서 target data의 distribution과 일치하.. 2025. 3. 3. [2025-1] 임재열 - Playing Atari with Deep Reinforcement Learning 해당 논문은 2013년에 Google Deepmind에서 발표한 것으로 심층 강화학습의 시작을 알린 논문으로 여겨집니다. [Playing Atari with DRL]https://arxiv.org/abs/1312.5602 Playing Atari with Deep Reinforcement LearningWe present the first deep learning model to successfully learn control policies directly from high-dimensional sensory input using reinforcement learning. The model is a convolutional neural network, trained with a variant of Q-.. 2025. 3. 1. 이전 1 ··· 10 11 12 13 14 15 16 ··· 68 다음
