Introduction
변형 정합(deformable registration): 이미지 쌍 간의 조밀하고 비선형적인 대응관계 확립하는 과정
- 전통적인 방법: 각 이미지 쌍에 대한 목적 함수 최적화하는 방식 -> 대규모 데이터셋, 복잡한 변형 모델에서 시간 많이 소요
- 최근 방법: 볼륨 데이터셋을 이용해 학습된 매개변수화된 정합 함수(CNN을 사용하여 구현)를 기반 , 학습단계에서 하나의 전역 최적화 수행
voxelmorph: 빠른 학습 기반 pairwise 의료 영상 registration 프레임워크
미분 가능한 목적 함수
- 비지도 학습 방식: 이미지 강도를 기반으로한 이미지 정합 목적 함수를 최대화하도록 모델 학습
- 학습데이터의 해부학적 분할 정보 활용하여 신경망 매개변수 학습
Background
변형 정합 방법(2단계)
- affine transformation: global alignment를 수행한다
- deformable transformation: 세밀한 조정을 수행, 자유도 높고 속도 느림
전통적인 변형 정합 알고리즘: 에너지 함수를 기반으로 변환을 반복적으로 최적화하는 방식
f: 고정 이미지
m: 이동 이미지
정합 필드 (ϕ)
: 정합 필드 (ϕ)에 의해 변형된 이동 이미지 m
- 일반적으로 변위 벡터 필드 u로 표현
- ϕ=Id+u (Id: 항등 변환)
- 미분동형 변환 기법
- 속도 벡터 필드(velocity vector field) 의 적분을 이용하여 정합 필드를 모델링
- 위상(topology) 보존 및 변환의 가역성(invertibility) 보장이 가능
유사도 함수($L_{sim}$) :두 입력 이미지 간 유사도를 측정하는 손실 함수
- 강도 평균 제곱 오차(mean squared error, MSE)
- 상호 정보(mutual information, MI)
- 교차 상관(cross-correlation, CC)
정규화 함수($L_{smooth}$) 정합 필드에 대한 정규화(regularization) 항
변형을 공간적으로 매끄럽게유지하도록 하는 역할
변위 벡터 필드 u 의 공간적 기울기(gradient)를 기반으로 모델링
-> 정합 필드를 사전에 학습된 함수로 추정하여, 새로운 볼륨 쌍이 주어졌을 때 즉각적으로 정합을 수행할 수 있도록 함.
Method
f,m: 두개의 이미지 볼륨
- 단일 채널의 그레이스케일 데이터
- affine 정합 완료
- 정합오차는 비선형적인 변형에서만 발생
$ g_{\theta }(f,m)=u $ : CNN을 사용하여 모델링
$ \theta $ : 네트워크의 매개변수(합성곱 레이어의 커널)
u는 실제로 n+1 차원의 이미지로 저장
- 영상 유사도, 변형장의 매끄러움 고려
- 해부학적 분할 정보를 추가적으로 활용
A. voxelMorph CNN 구조
UNet 과 유사한 CNN아키텍처 기반 ( encoder, decoder, skip connections 로 구성)
각 합성곱 연산후 ReLU활성화 함수(알파=0.2)적용
B. 공간 변환 함수
경사 기반 최적화를 수행하기 위해 공간 변환 네트워크 를 기반으로 한 미분 가능한 연산을 설계
p'=p+u(p)
가장 가까운 8개의 복셀을 이용해 선형 보간(linear interpolation)
Z(p'): p' 주변의 8개의 복셀, d:공간차원
C. 손실 함수
비지도 학습 손실 함수(Unsupervised Loss Function) :
외관 차이( $L_{sim}$)+ ϕ의 지역적 공간 변화 ($L_{smooth}$)
$ L_{sim} $ (유사성 손실)
1. 평균 제곱 복셀 차이(MSE)
f와 m이 유사한 이미지 강도 분포와 지역적 대비를 가질 때 적용
2. 지역적 교차 상관: 스캔과 데이터셋 간의 강도 차이에 더 강건
각 지역의 평균 강도 이미지
$ L_{smooth} $ (변형 필드의 매끄러움 손실)
변위 필드 u의 공간적 gradient에 확산 정규화를 적용하여 부드러움을 유지
보조 데이터 손실 함수
Dice 계수: 두 구조의 중첩 정도 평가 (1: 완벽한 정합, 0:전혀 겹치지 않음)
최종 손실 함수
부드러움이나 이미지 유사성을 보장하지 않으므로, 최종 손실 함수는 비지도 학습 손실과 결합하여 정의
$ \gamma $: 정규화 계수 -> 해부학적 정합 정확도 개선
D. 상쇄 최적화 해석
- 상쇄 최적화: 함수 gθ(⋅,⋅)의 매개변수 $ \theta $ 를 전역적으로 최적화하는 방식-> 자연스러운 정규화 역할
- 상쇄 간극: VoxelMorph와 같은 신경망 기반의 변형 정합에서, 훈련된 모델의 변위 필드 예측이 진정한 최적화된 변위 필드와 다를 때 발생하는 차이
-> 모델의 출력을 초기화로 사용하고, 경사 하강법으로 각 이미지 쌍에 대해 세밀하게 조정(fine-tuning)하는 방식
Experiment
데이터 셋
8개 공개 데이터셋 T1-가중 뇌 MRI 스캔을 포함하는 대규모 다기관 다연구 데이터셋을 사용
OASIS , ABIDE , ADHD200 , MCIC , PPMI , HABS, Harvard GSP , FreeSurfer Buckner40
- FreeSurfer를 사용하여 아핀 공간 정규화 및 뇌 추출
- 모든 MRI는 FreeSurfer로 해부학적 세그멘테이션을 진행했으며, 시각적 검사를 통해 세그멘테이션 결과와 아핀 정렬에서 큰 오류를 잡아냄
평가지표
- 구조 간 볼륨 중첩을 Dice 점수를 사용하여 정량화
- 변형 필드의 규칙성도 평가: Jacobian determinant를 사용
- 자코비안 행렬: $ J_{\phi }(p)= \triangledown \phi (p) \in R^{3x3} $
- 변환의 크기 또는 스케일링을 측정하는 값
- 공간의 크기나 형태에 미치는 영향을 나타내 변형의 품질과 물리적 일관성을 평가함
비교 methods
- ANTs SyN, NiftyReg 사용
- Atlas-based Registration
atlas: 뇌 영상 분석에서 표준으로 사용되는 Template 이미지
정규화 분석
- 스무딩 정규화 파라미터 λ 값에 대한 검증 세트의 평균 Dice 점수: 넓은 범위에 걸쳐 부드럽게 변화
- 모델이 λ의 변화에 강건함
- λ = 0: 아핀 정합보다 상당한 향상
훈련 세트 크기와 인스턴스별 최적화
- 훈련 세트 크기가 정확도에 미치는 영향, 누적 최적화와 인스턴스별 최적화 간의 관계를 평가
- dataset의 크기에 따른 Dice score의 변화는 크지 않음
수동 해부학적 구획화
- 해부학적 구조에 대한 전문가의 수동 구획화
- 인스턴스별 최적화 절차를 통해 ANTs 및 NiftyReg와 비교할 수 있는 수준으로 향상
주제간 정합
- 서로 다른 사람들의 뇌를 같은 기준으로 정렬
- 각 정합에서 더 많은 변동성이 있기 때문에 각 네트워크 층의 특성 수를 두 배로 늘림
Discussion and conclusion
- 비지도 학습 방식에서 base-line방식과 유사한 성능, 가장 빠른 연산 속도
- 전체 훈련 데이터셋에 대해 최적인 전역 함수 파라미터를 학습
