분류 전체보기163 [2025-1] 김유현 - Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets https://arxiv.org/abs/1606.03657 InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial NetsThis paper describes InfoGAN, an information-theoretic extension to the Generative Adversarial Network that is able to learn disentangled representations in a completely unsupervised manner. InfoGAN is a generative adversarial network that also maximizes tarxiv.org.. 2025. 1. 24. [2025-1] 계진혁 - Policy-based objectives https://www.youtube.com/watch?v=S2dXWVzzK2Y&list=PL_iJu012NOxehE8fdF9me4TLfbdv3ZW8g&index=22 Markov Decision Process.강화학습의 목표는 action의 반복을 통해 목표(Maximize Expected Return)에 다가가는 것이다. 즉, 기댓값이 최대가 되도록 하는 것이다. 이는 에이전트가 환경과 상호작용하면서 적절한 행동을 선택해 누적 보상을 최대화하려는 것으로 이해할 수 있다. * 누적 보상 = 𝐺0 = 𝑅0 + 𝛾𝑅1 + 𝛾^2𝑅2 + … Value-based의 목표.Value-based는 상태(state) 또는 상태-행동(state-action) 쌍에 대한 값을 학습하는 데 초점을 두는 방법.. 2025. 1. 24. [2025-1] 박지원 - GPT-NeoX-20B: An Open-Source Autoregressive Language Model GPT-Neo 논문) https://arxiv.org/abs/2204.06745 개요 : GPT-NeoX-20B는 어떤 모델인가200억 개의 파라미터로 구성된 오픈 소스 자동 회귀 언어 모델자연어 처리에 매우 효과적이며, 특히 few-shot 학습에서 좋은 성능을 보임weight, model source 등이 모두 공개되어 있다!모델 설계 및 구현GPT-3의 구조를 참고하여 설계된 구조2-1. GPT-3과의 차이(GPT-J도 참고하였으나, 공개된 게 GPT-3뿐이라 이를 비교함. 좌측이 GPT-3, 우측이 Neo)매개변수 수1750억200억층 수9644숨은 차원 크기122886144헤드 수9664위치 임베딩trained 임베딩로타리 임베딩계산방식직렬계산병렬계산44개 layer // 6144의 hidden.. 2025. 1. 23. [2025-1] 백승우 - Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting Speculative RAG: Enhancing Retrieval Augmented Generation through DraftingRetrieval augmented generation (RAG) combines the generative abilities of large language models (LLMs) with external knowledge sources to provide more accurate and up-to-date responses. Recent RAG advancements focus on improving retrieval outcomes througharxiv.org0. AbstractRAG는 LLM의 생성 기능과 외부 지식을 결합하여 답변을 제공한다. 최근 RAG는 반복.. 2025. 1. 22. 이전 1 2 3 4 5 6 7 ··· 41 다음
