논문링크: https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE11954529
Abstract
- 자율주행 환경에서 노이즈가 적용되는 비율에 따라 객체를 인식하는 것에 어느 정도의 영향을 미치는 지 수치화
- 가공하지 않은 데이터셋으로 학습한 YOLO v5 모델 사용
I. Introduction
- 자율주행 자동차의 카메라는 악천후 조건 등에서 오는 신호의 흡수 또는 반사 강한 태양광을 받는 환경의 경우 카메라에서 얻은 데이터의 왜곡이 일어남
- 다양한 상황에서 발생할 수 있는 노이즈가 자율주행을 위한 객체 인식에 어느 정도의 영향을 미치는지 확인
- 전처리 하지 않은 Train data를 사용하여 YOLO 모델을 학습하고 각각 0%(original), 20%, 40%, 60%, 80%의 노이즈를 합성한 Test data로 객체 탐지
- 객체 탐지 결과로 IoU, Confusion Matrix를 구성하여 수치화
II. Preliminaries
1. Related works
1.1. YOLO
- 2015년 Joseph Redmon 외의 논문 "You Only Look Once: Unified, Real-Time Object Detection"에서 처음으로 소개
- 객체 탐지를 이미지 픽셀에서 바운딩 박스의 좌표와 클래스 확률까지 하나의 회귀 문제로 재구성 → 탐지하려는 객체를 한번만 학습하면 모든 객체의 위치와 클래스 예측 가능
- 객체 탐지에 많이 사용됐던 R-CNN, DPM보다 빠른 실시간 처리 속도
1.2. Previous Research
최근 비디오 및 이미지 왜곡에 따른 객체 탐지에 대한 연구가 꾸준히 진행되고 있다. 기존의 연구에서는 노이즈가 포함된 데이터를 학습 데이터 자체에 추가하거나 데이터에 발생한 노이즈를 제거했지만 본 연구는 데이터를 변형시키지 않은 original 데이터로 모델을 학습하고 test set에 노이즈를 비율별로 추가하여 detection을 진행한다는 차이가 있다.
III. The Proposed Scheme
1. System Overview
1.1. Experimental Process
- 연구에 필요한 데이터셋: AIhub, 대전공공데이터, Kaggle, Roboflow 등에서 교통상황과 관련된 데이터 위주로 수집
- 모델 생성을 위해 Train data와 Validation data를 사용하여 YOLO v5 모델을 학습, Python OpenCV 라이브러리로 전처리 과정을 거친 Test Data로 객체 탐지율과 탐지 개수 측정
- 생성된 모델을 사용하여 노이즈가 추가된 Test Data를 detection 한 후 도출한 결과로 IoU(Intersection Over Union)를 계산하고 Confusion Matrix 구성
1.2. Experiment Environment
1.3. Data Preprocessing
- Test Data에 적용한 가우시안 노이즈는 주로 자연환경에서 발생하는 갑작스러운 변동이나 오차를 모델링하는 데 사용되는 노이즈
- 가우시안 노이즈의 강도가 커질수록 데이터의 시각적 품질이 저하되고 데이터 처리에 부정적 영향
- Python으로 Albumentations 라이브러리의 GaussNoise 클래스를 사용하여 Test Data에 적용하여 실험
- 가우시안 노이즈의 분산은 아무 객체도 탐지되지 않는 구간인 5,000을 100%로 가정하고 0(original), 1,000(20%), 2,000(40%), 3,000(60%), 4,000(80%)로 나누어 적용
IV. Experiment
1. Model Construction
- Roboflow에서 수집한 데이터셋을 YOLO v5 버전으로 학습
- Train Data 5,313개, Test data 660개, Validation Data 660개로 총 6,633개
- 크기: Labelling 된 Bounding Box의 좌표를 나타낸 txt 파일 포함하여 총 603 MB
- 식별할 클래스: 'Bicycle', 'Bus', 'Car', 'Motorbike', 'Person'
- 학습 수행시간: 약 10,184초
2. Experiment
- 생성한 YOLO 모델로 객체 탐지를 진행하고 예측한 바운딩 박스의 좌표를 x_center, y_center, Width, Height로 나누어 csv에 저장
- 예측 데이터를 바운딩 박스 좌표로 저장하는 것은 모델에서 예측된 데이터와 실제 데이터의 매칭을 위해 IoU 계산하기 위함
- IoU: 객체 탐지에서 예측된 바운딩 박스와 실제 바운딩 박스 간의 겹침 정도를 측정하는 지표
- 2개의 바운딩 박스의 교집합 영역에서 합집학 영역을 나누어 계산 → 0에서 1 사이의 값을 가지며 1에 가까워질수록 높은 예측값 가짐
3. Experimental Evaluation
- 예측값과 실제값을 비교하여 성능을 평가할 수 있는 Confusion Matrix 구성
- 본 실험에서는 정확한 값을 예측한 TP(True Positive, 정답을 정답으로 예측)를 중심으로 탐지 개수 분석
- 거의 모든 클래스가 노이즈 비율이 증가할수록 TP 값이 감소
- 위 Confusion Matrix를 바탕으로 노이즈별 Precision, Recall, Accuracy, F1-score를 정리한 표
- 데이터셋의 클래스 간 개수가 불균형하기 때문에 Precision과 Recall의 조화평균인 F1-score를 사용해 두 지표의 균형을을 바탕으로 최종 성능 평가
- F1-score가 노이즈 비율이 증가할수록 꾸준히 감소하는 모습
V. Conclusions
- 자율주행 시스템의 객체 탐지 성능이 수집되는 데이터 품질에 미치는 영향을 수치상으로 확인
- 향후 자율주행 기술의 안정성을 높일 수 있는 기반이 될 것으로 기대