분류 전체보기302 [2025-1] 차승우 - LONG SHORT-TERM MEMORY https://www.bioinf.jku.at/publications/older/2604.pdf 0. Abstract 1. LSTM 출현 배경 - 기존의 순환 신경망(RNN)은 긴 시간 간격에 걸친 정보를 학습하기 어렵습니다. - Gradient Vanishing 2. LSTM 1. Constant Error Carousel - 특정 유닛 내에서 오류 신호가 사라지지 않고 일정하게 유지되도록 설계된 구조 2. Gate - 게이트를 통해 정보를 선택적으로 저장 및 삭제, 계산 3. 실험 결과 1. RNN의 장기 의존성 문제 해결 1. Introduction 1. 순환신경망 - 순환 신경망은 피드백을 통해 단기 기억 형태로 저장할 수 있으나, 단기 기억에 무엇을 저장할지를 학.. 2025. 1. 25. [2025-1] 박서형 - Swin-Unet: Unet-like Pure Transformer forMedical Image Segmentation https://arxiv.org/abs/2105.05537 Swin-Unet: Unet-like Pure Transformer for Medical Image SegmentationIn the past few years, convolutional neural networks (CNNs) have achieved milestones in medical image analysis. Especially, the deep neural networks based on U-shaped architecture and skip-connections have been widely applied in a variety of medical imagearxiv.org 1. introductionmedical 분야에서 s.. 2025. 1. 25. [2025-1] 황징아이 - LoRA : Low Rank Adaptation of Large Language Models 논문https://arxiv.org/pdf/2106.09685 BackgroundLoRA는 PEFT (Parameter-Efficient Fine Tuning)기술 중 하나입니다.사전 학습된 LLM의 대부분의 파라미터를 Freezing하고 일부의 파라미터만을 특정 작업에 맞게 효율적으로 Fine-tuning하는 방법적은 수의 파라미터를 학습하는 것만으로 모델 전체를 파인튜닝하는 것과 유사한 효과를 누릴 수 있도록 함IntroductionLLM 같은 모델은 파라미터수가 매우 많아 Pre-training후, Fine-tuning 시 많은 파라미터를 학습 시켜야 하기 때문에 매우 비효율적임이를 위해 일부 파라미터를 조정하거나 새로운 task를 위한 외부 모듈을 학습해 운영 효율성을 크게 향상시켰음하지만 모델의.. 2025. 1. 25. [2025-1] 김경훈 - LATENT CONSISTENCY MODELS:SYNTHESIZING HIGH-RESOLUTION IMAGESWITH FEW-STEP INFERENCE 원본 논문 링크 : https://arxiv.org/pdf/2310.04378 블로그 작성일 : 2025.01.25(토) LCM(컨시스턴시 모델)은 생성 속도를 높이고자 하는 목적에서 출발한 모델로, 고해상도 이미지를 더 빠르게 생성하고자 하는 노력이 돋보입니다. 기존의 디퓨전 모델은 단계를 여러 번 거쳐 이미지를 생성하는데, LCM은 이러한 단계를 축소하여 빠르게 고품질 이미지를 얻고자 합니다.LCM은 역 디퓨전과정에서 수식을 통해 특정 부분을 대체함으로써 이미지 생성 속도를 향상시킵니다. 이는 기존의 미분 방정식을 푸는 과정을 더 효율적으로 처리함으로써 가능해졌습니다. 특히, probability flow 기반의 미분 방정식을 대체하여 학습을 가속화하고 높은 품질의 이미지를 빠르게 생성할 수 있.. 2025. 1. 25. 이전 1 ··· 33 34 35 36 37 38 39 ··· 76 다음
