0. Abstract
제한된 주석 데이터 샘플을 보다 효율적으로 활용하기 위해 데이터 증강을 활용하는 네트워크와 학습 전략을 제안
- 수축 경로(contracting path): context을 캡처
- 확장 경로(expanding path): 정확한 위치 추정을 가능
=> 소량의 이미지로 end-to-end 학습 가능
1. Introduction
- 전통적 컨볼루션 네트워크는 단일 클래스 레이블을 출력하여 위치 정보를 포함하지 못함.
Ciresan et al.: 슬라이딩 윈도우 방식으로 각 픽셀 주변의 지역(패치)을 입력으로 픽셀의 클래스 레이블을 예측
장점:
- 위치 추정,
- 패치 개수가 학습이미지 개수보다 만항 데이터 상대적 증가
단점:
- 속도: 네트워크가 각 패치마다 개별적으로 실행, 중첩되는 패치
- 위치 정확도와 맥락 정보 활용의 상충
- 큰 패치: 더 많은 맥스 풀링 레이어가 필요해 위치 정확도가 감소
- 작은 패치: 네트워크가 맥락 정보를 거의 볼 수 없음.
U-net
- fully convolutional network기반
- 소량의 학습 이미지만으로 정밀한 segmentation가능
- 수축 경로(contracting path):
- context을 캡처하는 역할.
- 확장 경로(expanding path):
- 대칭적 구조(U자형).
- 고해상도 특징을 업샘플링된 출력과 결합하여 위치 정보 복원.
- 특징 채널 수를 유지해 문맥 정보를 높은 해상도로 전파.
특징
- 패딩 없는 컨볼루션을 사용해 정확도를 높임.
- 완전 연결 레이어 없음.
- 겹침-타일(overlap-tile) 전략으로 큰 이미지를 매끄럽게 세분화 가능.
- 경계 영역 픽셀은 입력 이미지를 반사(mirroring)하여 문맥 부족 문제를 보완.
- 탄력적 변형으로 과도한 데이터 증강
- 가중손실 : 동일 클래스의 접촉 객체를 분리하기 위해, 접촉하는 세포 사이의 배경 레이블에 높은 가중치 부여
2. Network Architecture
- 수축 경로(contracting path):
- 전형적인 컨볼루션 네트워크 구조.
- 두 개의 3x3 컨볼루션(패딩 없음) 반복 적용.
- 각 컨볼루션 뒤에 ReLU와 2x2 최대 풀링(max pooling) 연산(stride 2).
- 다운샘플링 단계마다 feature channel 개수를 두 배로 증가.
- 확장 경로(expansive path):
- 특징 맵 업샘플링.
- 2x2 up-convolution으로 특징 채널 개수를 절반으로 줄임.
- 수축 경로의 cropped 특징 맵과 연결: concatenation
- 두 개의 3x3 컨볼루션 및 각각의 ReLU 적용
- 컨볼루션으로 경계 픽셀이 손실되므로 cropping 필요.
- 마지막 레이어에서 1x1 컨볼루션을 사용해 각 64차원 특징 벡터를 원하는 클래스 수로 매핑.
- segmentation map의 원활한 타일링을 위해 모든 2x2 최대 풀링 연산이 x축과 y축 크기가 짝수인 레이어에 적용되도록 설정
3. Training
- caffe의 확률적 경사하강법 구현을 통해 학습
에너지 함수(Energy Function)
- 픽셀 단위 소프트맥스(softmax) + 교차 엔트로피 손실(cross entropy loss).
softmax
- pk(x) 픽셀 위치 x에서 클래스 k일 확률
- ak(x: 픽셀 에서 클래스 k의 활성값
교차 엔트로피 손실
- w(x) 픽셀 x에 가중치를 부여하는 가중치 맵.
- ℓ(x): 픽셀 x의 실제 레이블.
가중치 맵
- 클래스 간 픽셀 빈도 차이를 보정
- 접촉하는 세포 간의 분리 경계를 학습하도록 강제
- : 클래스 빈도 균형을 맞추기 위한 가중치.
- d1(x), d2(x): 각각 가장 가까운 세포 경계와 두 번째 경계까지의 거리.
- w0=10, σ=5
가중치 초기화
- 가우시안 분포에서 표준 편차를 사용하여 가중치를 샘플링
- N: 하나의 뉴런에 연결된 노드(입력 노드)의 개수
4. Experiments
전자현미경 기록에서 신경 구조 세분화
- 초파리(Drosophila) ,유충(larva) 배쪽 신경삭(VNC)의 직렬 단면 전자현미경에서 얻은 30개 이미지(512x512 픽셀)
- 세포(흰색)와 막(검은색)에 대한 완전히 주석이 달린 정답 세분화 지도 제공
예측된 막 확률 지도를 평가
광학현미경 이미지에서의 세포 세분화
- PhC-U373: 위상차 현미경으로 촬영된 폴리아크릴아미드 기질 위의 Glioblastoma-astrocytoma U373 세포- 평균 IOU 92%
- DIC-HeLa: 편평한 유리 위의 HeLa 세포를 차등 간섭 대비 현미경으로 촬영한 데이터- 평균 IOU 77.5%
5. Conclusion
- U-net 아키텍처는 매우 다양한 생의학 세분화 응용 분야에서 매우 우수한 성능을 달성함
- 탄성 변형(elastic deformation)을 활용한 데이터 증강-> 소량의 주석이 달린 이미지로도 학습함, 합리적인 학습 시간을 가짐
