Natural Language Processing65 [2025-1] 임재열- Mamba: Linear-Time Sequence Modeling with Selective State Spaces Mamba는 2024년 Albert Gu와 Tri Dao가 제안한 모델입니다. [Mamba]https://arxiv.org/abs/2312.00752 Mamba: Linear-Time Sequence Modeling with Selective State SpacesFoundation models, now powering most of the exciting applications in deep learning, are almost universally based on the Transformer architecture and its core attention module. Many subquadratic-time architectures such as linear attention, gated conv.. 2025. 2. 1. [2025-1] 차승우 - LONG SHORT-TERM MEMORY https://www.bioinf.jku.at/publications/older/2604.pdf 0. Abstract 1. LSTM 출현 배경 - 기존의 순환 신경망(RNN)은 긴 시간 간격에 걸친 정보를 학습하기 어렵습니다. - Gradient Vanishing 2. LSTM 1. Constant Error Carousel - 특정 유닛 내에서 오류 신호가 사라지지 않고 일정하게 유지되도록 설계된 구조 2. Gate - 게이트를 통해 정보를 선택적으로 저장 및 삭제, 계산 3. 실험 결과 1. RNN의 장기 의존성 문제 해결 1. Introduction 1. 순환신경망 - 순환 신경망은 피드백을 통해 단기 기억 형태로 저장할 수 있으나, 단기 기억에 무엇을 저장할지를 학.. 2025. 1. 25. [2025-1] 박서형 - Swin-Unet: Unet-like Pure Transformer forMedical Image Segmentation https://arxiv.org/abs/2105.05537 Swin-Unet: Unet-like Pure Transformer for Medical Image SegmentationIn the past few years, convolutional neural networks (CNNs) have achieved milestones in medical image analysis. Especially, the deep neural networks based on U-shaped architecture and skip-connections have been widely applied in a variety of medical imagearxiv.org 1. introductionmedical 분야에서 s.. 2025. 1. 25. [2025-1] 황징아이 - LoRA : Low Rank Adaptation of Large Language Models 논문https://arxiv.org/pdf/2106.09685 BackgroundLoRA는 PEFT (Parameter-Efficient Fine Tuning)기술 중 하나입니다.사전 학습된 LLM의 대부분의 파라미터를 Freezing하고 일부의 파라미터만을 특정 작업에 맞게 효율적으로 Fine-tuning하는 방법적은 수의 파라미터를 학습하는 것만으로 모델 전체를 파인튜닝하는 것과 유사한 효과를 누릴 수 있도록 함IntroductionLLM 같은 모델은 파라미터수가 매우 많아 Pre-training후, Fine-tuning 시 많은 파라미터를 학습 시켜야 하기 때문에 매우 비효율적임이를 위해 일부 파라미터를 조정하거나 새로운 task를 위한 외부 모듈을 학습해 운영 효율성을 크게 향상시켰음하지만 모델의.. 2025. 1. 25. 이전 1 ··· 5 6 7 8 9 10 11 ··· 17 다음
