전체 글301 [2025-1] 임수연 - Large scale distributed neural network training through online distillation | Relational knowledge distillation | Be your own teacher: Improve the performance of convolutional neural networks via self distillation https://arxiv.org/pdf/1904.05068https://arxiv.org/pdf/1804.03235https://arxiv.org/pdf/1905.08094안녕하세요, 이번 글에서는 Distillation의 변형된 기법들을 차례로 알아가보도록 하겠습니다. 핵심 아이디어 위주로 정리하였으므로 실험과 같은 자세한 내용은 논문을 참고해주시면 감사하겠습니다. Knowledge 관점 1. Introduction새로운 approach로 RKD(Relational Knowledge Distillation)과 loss 2가지 distance-wise & angle-wise distillation losses 를 제안. metric learning에서 student model이 outperform 할 .. 2025. 2. 15. [2025-1] 차승우 - Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling https://arxiv.org/abs/1412.3555 Empirical Evaluation of Gated Recurrent Neural Networks on Sequence ModelingIn this paper we compare different types of recurrent units in recurrent neural networks (RNNs). Especially, we focus on more sophisticated units that implement a gating mechanism, such as a long short-term memory (LSTM) unit and a recently proposed gatedarxiv.org0. Abstract- tanh RNN과 비교하.. 2025. 2. 15. [2025-1] 조환희 - Flow-based Models 1. 사전지식아래와 같은 식이 있다고 하자.여기서 a는 scale, b 는 bias 이다.이떄 역함수를 표현하는 방법은 아래와 같이 된다.행렬에서도 똑같다.W는 scale 행렬, B는 bias 행렬이다. y = Wx + B 처럼 벡터 공간(행렬)에서 선형변환(Linear Transformation) Wx과 Bias 행렬 B가 더해지는 변환을 Affine Transformation(아핀변환) 이라고 한다. 생성모델을 만들 때 우리는 최대한 특정 y=f(x)와 비슷한 잠재변수 z를 계산해 모델을 만든다. 그럼 아래와 같이 z를 이용해 x와 최대한 닮은 z를 계산할 수 있을 것이다.Flow based 모델은 변수 x를 최대한 잘 표현할 수 있는 잠재변수 z를 계산하는 z = f(x)를 학습하되, f의 역함수 .. 2025. 2. 15. [2025-1] 전윤경-VoxelMorph: A Learning Framework forDeformable Medical Image Registration Introduction변형 정합(deformable registration): 이미지 쌍 간의 조밀하고 비선형적인 대응관계 확립하는 과정전통적인 방법: 각 이미지 쌍에 대한 목적 함수 최적화하는 방식 -> 대규모 데이터셋, 복잡한 변형 모델에서 시간 많이 소요최근 방법: 볼륨 데이터셋을 이용해 학습된 매개변수화된 정합 함수(CNN을 사용하여 구현)를 기반 , 학습단계에서 하나의 전역 최적화 수행voxelmorph: 빠른 학습 기반 pairwise 의료 영상 registration 프레임워크 미분 가능한 목적 함수 비지도 학습 방식: 이미지 강도를 기반으로한 이미지 정합 목적 함수를 최대화하도록 모델 학습학습데이터의 해부학적 분할 정보 활용하여 신경망 매개변수 학습 Background변형 정합 방법(2단.. 2025. 2. 15. 이전 1 ··· 23 24 25 26 27 28 29 ··· 76 다음
