전체 글425 [2026-1] 정인아 - VL-Cache: Sparsity and Modality-Aware KV Cache Compression for Vision-Language Model Inference Acceleration 논문 제목 : VL-Cache: Sparsity and Modality-Aware KV Cache Compression for Vision-Language Model Inference Acceleration (ICLR 2025)논문 링크 : https://arxiv.org/abs/2410.23317 Summary기존 KV cache compression은 주로 LLM을 대상으로 설계되어 있는데, LLM용 방법을 VLM에 그대로 적용하기에 VLM에는 vision/text 서로 다른 modality의 token이 섞여 있기 때문에 문제가 된다.구체적으로 1) visual token과 language token의 attention pattern이 다르고, 2) layer마다 attention sparsity도.. 2026. 9. 13. [2026-1] 정인아 - Learning Invariant Visual Representations for Planning with Joint-Embedding Predictive World Models 논문 제목 : Learning Invariant Visual Representations for Planning with Joint-Embedding Predictive World Models (Bis-JEPA)논문 링크 : https://arxiv.org/pdf/2602.18639 Introductiongenerative world model에서 JEPA 계열이 주목받고 있다.(2026)이는 raw observation을 reconstrction하지 않고 latent representation을 prediction하는 방식이다.Bis-JEPA는 base로 DINO-WM을 둔다.DINO-WM는 JEPA 아이디어를 가지고, DINOv2 feature를 사용해 latent dynamics를 학습한 연구다.r.. 2026. 8. 23. [2026-1] 김지원 Self-Supervised Learning from Images with aJoint-Embedding Predictive Architecture 논문 제목 : Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture논문 링크: https://arxiv.org/pdf/2301.08243 배경 I-JEPA(Image-based Joint-Embedding Predictive Architecture)는 '라벨 없이 이미지의 semantic representation을 어떻게 학습할 것인가'라는 자기 지도 학습 문제를 다룸 학계에서는 두 가지 방법으로 이 문제를 다뤄왔음:1. View-invariance(SimCLR, BYOL, DINO) 같은 이미지를 증강(crop, color jitter 등)으로 여러 view로 변형한 뒤 변형된 view의 임베딩이 서로 .. 2026. 8. 23. [2026-1] 이루가 - Improving Factuality and Reasoning in LanguageModels through Multiagent Debate 논문 링크: https://arxiv.org/abs/2305.14325 Improving Factuality and Reasoning in Language Models through Multiagent DebateLarge language models (LLMs) have demonstrated remarkable capabilities in language generation, understanding, and few-shot learning in recent years. An extensive body of work has explored how their performance may be further improved through the tools of parxiv.org Abstract연구 배경.. 2026. 7. 26. 이전 1 2 3 4 ··· 107 다음
