[2024-2] 김경훈 - VoxelMorph : A Learning Framework for Deformable Medical Image Registration

 

Link : https://arxiv.org/abs/1809.05231

VoxelMorph: A Learning Framework for Deformable Medical Image Registration

 

 

---

 

 

 

 

0. Abstract

기존의 이미지 정합(image registration) 방식은 이미지 쌍 간의 목적 함수를 최적화하는 방법으로, 처리 시간이 오래 걸리는 단점이 있습니다.

반면, 본 논문에서는 최근에 제안된 학습 기반 접근법을 활용하여 이미지 정합을 단일 함수로 간주하고, 입력 이미지만으로 정렬된 이미지를 도출하는 방법을 소개합니다.

논문에서 제안된 두 가지 방법 중 첫 번째는 비지도 학습(unsupervised learning)으로, 이미지 간의 매칭을 최적화합니다. 두 번째는 보조 데이터(segmentation map)를 학습에 활용하여 성능을 향상시키는 것입니다.

이 비지도 학습 모델은 최신 기술들과 비교해 경쟁력 있는 성능을 제공하며, 처리 속도는 훨씬 빠릅니다. 또한, 보조 데이터를 추가로 사용했을 때 더욱 높은 정합 성능을 보였습니다.

 

 

1. Introduction

이미지 정합 분야에서 변형 가능한 정합(deformable registration)은 대표적인 방법 중 하나이지만, 처리 시간이 많이 걸린다는 한계가 있습니다.

본 연구에서는 비지도 학습을 활용하여 이미지 쌍만을 사용해 모델을 학습시키고, 해부학적 분할 맵을 추가적으로 사용하여 성능을 개선했습니다.

테스트에는 다양한 연령대와 상태(정상 및 뇌 질환 환자)가 혼합된 3500개의 스캔이 사용되었습니다. 제안된 모델은 CPU 환경에서 몇 분 이내, GPU 환경에서는 몇 초 이내에 처리할 수 있는 반면, 기존의 최신 기법들은 처리에 수십 분에서 최대 2시간이 소요되었습니다.

 

 

 

2. Background

일반적으로 변형 가능한 이미지 정합은 전역 정렬(global alignment)을 수행한 후, 변형 가능한 변환을 구하는 두 단계로 나뉩니다.

이 논문에서는 두 번째 단계인 모든 voxel에 대한 밀집한 비선형 대응을 계산하는 데 중점을 두고 있습니다.

기존의 방식은 이미지 쌍 간의 최적화를 기반으로 하기 때문에 시간이 많이 소요되지만, 본 연구에서는 데이터로부터 변형 필드를 생성하는 매개변수화된 함수(parameterized function)를 학습할 수 있다고 가정합니다. 이는 특정 이미지 쌍에 대한 최적화가 아닌, 전체적인 최적화를 추구하는 방식입니다.
3. Related Work

비학습 기반 방식으로는 탄성 모델(elastic type model), 통계적 파라메트릭 매핑(statistical parametric mapping), b-splines, 이산 방법(discrete methods), 데몬스 알고리즘(demons) 등이 있습니다.

특히 변형 가능한 변환(diffeomorphic transforms) 방식은 높은 성능을 보였으며, LDDMM(Large Diffeomorphic Distance Metric Mapping), DARTEL, 디페오모픽 데몬스(diffeomorphic demons), SyN(Symmetric normalization)과 같은 방법들이 대표적입니다.

이러한 비학습 기반 기법들은 에너지 함수를 최적화하는 방식이므로 시간이 오래 걸리는 것이 단점입니다.

최근에는 이미지 정합을 위한 신경망(neural networks)들이 제안되었지만, 이들은 주로 실제 변형 필드(ground truth warp fields)에 의존하는 문제가 있습니다. 이 변형 필드를 얻기 위해서는 추가적인 작업이 필요합니다.

이에 반해, 본 논문의 VoxelMorph는 비지도 학습 방식을 취하며, 보조 정보(segmentation map)를 활용하여 성능을 더욱 향상시켰습니다.

 

 

 

 

C. 손실 함수 (Loss Functions)

    비지도 학습 손실 함수 (Unsupervised Loss Function)
    비지도 학습에서 손실 함수는 두 가지 요소로 구성됩니다. 첫 번째는 두 이미지 간의 유사성을 측정하는 'similarity loss'이고, 두 번째는 변형 필드(ϕ)의 국소적 변화를 고려하는 'smoothness loss'입니다. 여기서 λ는 정규화 파라미터입니다.

Lus(f,m,ϕ)=Lsim(f,m∘ϕ)+λLsmooth(ϕ)
Lus​(f,m,ϕ)=Lsim​(f,m∘ϕ)+λLsmooth​(ϕ)

유사성 손실은 두 가지 방식으로 실험되었습니다. 첫 번째는 두 이미지의 강도 분포가 비슷할 때 사용되는 평균 제곱 오차(MSE)입니다.
MSE(f,m∘ϕ)=1∣Ω∣∑p∈Ω(f(p)−[m∘ϕ](p))2
MSE(f,m∘ϕ)=∣Ω∣1​p∈Ω∑​(f(p)−[m∘ϕ](p))2

두 번째 방식은 강도의 변화를 더 잘 처리할 수 있는 국소 상관계수(local cross-correlation)입니다. 여기서 f^(p)f^​(p)와 m^∘ϕm^∘ϕ는 국소 평균 강도를 나타냅니다.

유사성 손실을 최소화하면 두 이미지 간의 정합은 향상되지만, 변형 필드가 비현실적이고 매끄럽지 않게 될 수 있습니다. 이를 해결하기 위해 스무스니스 손실을 사용하여 필드의 부드러움을 보장합니다.
Lsmooth(ϕ)=∑p∈Ω∣∣∇u(p)∣∣2
Lsmooth​(ϕ)=p∈Ω∑​∣∣∇u(p)∣∣2

    보조 데이터 손실 함수 (Auxiliary Data Loss Function)
    해부학적 분할 맵(segmentation map)은 학습 과정에서 사용됩니다. 이 맵은 전문가 또는 자동화된 알고리즘을 통해 주석 처리됩니다. 정합 필드 ϕ가 정확하다면, 두 이미지의 해부학적 구조 또한 일치해야 합니다. 본 연구에서는 이를 평가하기 위해 Dice 점수를 사용했습니다.

Dice(sfk,smk∘ϕ)=2⋅∣sfk∩(smk∘ϕ)∣∣sfk∣+∣smk∘ϕ∣
Dice(sfk​,smk​∘ϕ)=∣sfk​∣+∣smk​∘ϕ∣2⋅∣sfk​∩(smk​∘ϕ)∣​

최종 손실 함수는 두 가지 손실을 조합하여 구성됩니다. 여기서 γ는 정규화 파라미터입니다.
La(f,m,sf,sm,ϕ)=Lus(f,m,ϕ)+γLseg(sf,sm∘ϕ)
La​(f,m,sf​,sm​,ϕ)=Lus​(f,m,ϕ)+γLseg​(sf​,sm​∘ϕ)
5. 실험 (Experiments)

A. 실험 환경 (Experimental Setup)

    데이터셋
    다양한 연구와 장소에서 수집된 3731개의 T1 가중 뇌 MRI 스캔 데이터를 사용했습니다. 모든 스캔은 256×256×256 크기의 1mm 등방성(voxel)으로 이루어져 있습니다. FreeSurfer를 사용하여 기본적인 공간 정규화와 뇌 추출을 수행한 후, 해부학적 분할 맵을 얻고 수동으로 오류를 수정했습니다. 학습에 3231개, 검증에 250개, 테스트에 250개의 볼륨을 사용했습니다.

    평가 지표 (Evaluation Metrics)
    해부학적 구조의 중첩을 평가하기 위해 Dice 점수를 사용하였고, 변형 필드의 정규성을 평가하기 위해 야코비안 행렬의 결정값(Jacobian determinant)을 사용했습니다. 야코비안이 0 이하인 비배경 보셀(voxel)을 카운팅했습니다.

Jϕ(p)=∇ϕ(p)∈R3×3
Jϕ​(p)=∇ϕ(p)∈R3×3

    기준 방법 (Baseline Methods)
    비교를 위해 ANTs SyN 및 NiftyReg와 같은 기존의 방법을 사용하였으며, VoxelMorph 모델 구현은 Keras 프레임워크로 이루어졌습니다. 옵티마이저는 ADAM을, 학습률은 0.0001로 설정했습니다.

B. Atlas 기반 정합 (Atlas-based Registration)

 

 

 

 

 

 

---

 

VoxelMorph 논문 리뷰를 정리한 파일은 아래 링크에서 확인할 수 있습니다.

 

 

https://blog.naver.com/kgh9080/223579717052

[논문리뷰] VoxelMorph : A Learning Framework for Deformable Medical Image Registration