분류 전체보기420 [2026-1] 주서영 - Neural Collapse versus Low-rank Bias: Is Deep Neural Collapse Really Optimal? https://arxiv.org/pdf/2405.14468 이 논문은 깊고 비선형인 다중 클래스 모델에서는 Deep Neural Collapse의 직교 구조가 전역 최적해가 아니며, 정규화가 유도하는 low-rank 표현이 더 낮은 목적함수를 달성할 수 있다는 것을 이론과 실험으로 보인다.Neural Collapse의 예시를 들어보자딥러닝 모델이 학습을 끝낼 때 꼭 대칭 구조로 정리되는 것이 최선일까?이 논문은 아니라고 주장한다. 때로는 더 단순한 구조, low-rank 구조가 더 좋은 답일 수도 있다.딥러닝 모델이 사진을 보고 “고양이, 개, 자동차…”처럼 분류한다고 해보자.학습이 잘 끝나면, 모델 안에서는 같은 종류의 데이터들이 비슷한 위치에 모인다.예를 들어, 고양이 사진들은 한곳에 모이고, 개 사.. 2026. 7. 19. [2026-1] 정유림 - A Simple Framework for Contrastive Learning of Visual Representations Title: A Simple Framework for Contrastive Learning of Visual RepresentationsCitations: 33,428 (as of July 11, 2026)Link: https://arxiv.org/pdf/2002.05709ICML 2020Previous approach to learn visual representationGenerative approachesA generative method attempts to model or reconstruct the input data.SimCLR paper says that pixel-generation can be computationally expensive and may not be necessary f.. 2026. 7. 11. [2026-1] 김지원 - FactorGCL: A Hypergraph-Based Factor Model with Temporal Residual Contrastive Learning for Stock Returns Prediction 논문 정보제목: FactorGCL: A Hypergraph-Based Factor Model with Temporal ResidualContrastive Learning for Stock Returns Prediction인용수: 2026년 7월 기준 18회논문링크: https://arxiv.org/abs/2502.05218비고: AAAI 2025에서 발표된 논문 먼저 리뷰하기 전에 아래 두 개념을 알고 가면 이해하기 좋다.HyperGraph란?일반적인 그래프는 두 개의 노드를 하나의 선(Edge)로 연결하는 반면, 하이퍼그래프는 하이퍼엣지(Hyperedge)가 개수와 상관없이 여러 개의 노드를 한 번에 묶어서 연결할 수 있는 확장된 구조임 Temporal Contrastive Learning(시간적 대조.. 2026. 7. 10. [2026-1] 정유림 - Simple and EffectiveMasked Diffusion Language Models paper : https://arxiv.org/abs/2406.07524 Simple and Effective Masked Diffusion Language ModelsWhile diffusion models excel at generating high-quality images, prior work reports a significant performance gap between diffusion and autoregressive (AR) methods in language modeling. In this work, we show that simple masked discrete diffusion is more perarxiv.org2024년 260613 기준 : 725회 인용 최근 언어 모델은 대부.. 2026. 6. 13. 이전 1 2 3 4 ··· 105 다음
