분류 전체보기265 [2025-1] 박서형 - Swin-Unet: Unet-like Pure Transformer forMedical Image Segmentation https://arxiv.org/abs/2105.05537 Swin-Unet: Unet-like Pure Transformer for Medical Image SegmentationIn the past few years, convolutional neural networks (CNNs) have achieved milestones in medical image analysis. Especially, the deep neural networks based on U-shaped architecture and skip-connections have been widely applied in a variety of medical imagearxiv.org 1. introductionmedical 분야에서 s.. 2025. 1. 25. [2025-1] 황징아이 - LoRA : Low Rank Adaptation of Large Language Models 논문https://arxiv.org/pdf/2106.09685 BackgroundLoRA는 PEFT (Parameter-Efficient Fine Tuning)기술 중 하나입니다.사전 학습된 LLM의 대부분의 파라미터를 Freezing하고 일부의 파라미터만을 특정 작업에 맞게 효율적으로 Fine-tuning하는 방법적은 수의 파라미터를 학습하는 것만으로 모델 전체를 파인튜닝하는 것과 유사한 효과를 누릴 수 있도록 함IntroductionLLM 같은 모델은 파라미터수가 매우 많아 Pre-training후, Fine-tuning 시 많은 파라미터를 학습 시켜야 하기 때문에 매우 비효율적임이를 위해 일부 파라미터를 조정하거나 새로운 task를 위한 외부 모듈을 학습해 운영 효율성을 크게 향상시켰음하지만 모델의.. 2025. 1. 25. [2025-1] 김경훈 - LATENT CONSISTENCY MODELS:SYNTHESIZING HIGH-RESOLUTION IMAGESWITH FEW-STEP INFERENCE 원본 논문 링크 : https://arxiv.org/pdf/2310.04378 블로그 작성일 : 2025.01.25(토) LCM(컨시스턴시 모델)은 생성 속도를 높이고자 하는 목적에서 출발한 모델로, 고해상도 이미지를 더 빠르게 생성하고자 하는 노력이 돋보입니다. 기존의 디퓨전 모델은 단계를 여러 번 거쳐 이미지를 생성하는데, LCM은 이러한 단계를 축소하여 빠르게 고품질 이미지를 얻고자 합니다.LCM은 역 디퓨전과정에서 수식을 통해 특정 부분을 대체함으로써 이미지 생성 속도를 향상시킵니다. 이는 기존의 미분 방정식을 푸는 과정을 더 효율적으로 처리함으로써 가능해졌습니다. 특히, probability flow 기반의 미분 방정식을 대체하여 학습을 가속화하고 높은 품질의 이미지를 빠르게 생성할 수 있.. 2025. 1. 25. [2025-1] 김민정 - LargeConceptModels: Language Modeling in a Sentence Representation Space 1. IntroductionLCM의 현황LLM : NLP의 표준 기술로 자리잡았으나, 토큰 수준에서 동작하며 인간처럼 다층적인 추론 및 창의적 콘텐츠 생성에는 한계 有암묵적으로 계층적 구조를 포함하고 있지만, 명백한 계층적 구조를 가진 모델이 일관된 장문의 출력을 만드는데 적합 인간은 단어 수준이 아닌, 개념적이고 추상적인 레벨에서 정보를 처리하고 생성하기에 명백한 계층적 구조를 가진 모델 필요 LCM의 목표LCM(Large Concept Models)은 "개념"을 중심으로 작동하며, 언어와 모달리티에 독립적인 구조를 가짐SONAR라는 문장 임베딩 공간을 활용하여 200개 언어의 텍스트와 76개 언어의 음성을 지원 기존 LLM과의 차별점현재 LLM들은 단순히 다음 토큰을 예측하지만, LCM은 계층적 정보.. 2025. 1. 25. 이전 1 ··· 24 25 26 27 28 29 30 ··· 67 다음
