Fast R-CNN은 객체 감지(object detection) 분야에서 매우 중요한 알고리즘입니다. R-CNN(Regions with CNN features)이라는 기법의 개선된 버전으로, 속도를 대폭 향상시킴과 동시에 정확도를 유지하고자 설계되었습니다. 본 강좌에서는 Fast R-CNN의 기본 개념, 주요 구성 요소 및 파이토치를 이용한 실습 예제를 다룰 것입니다.
1. Fast R-CNN 개요
Fast R-CNN은 이미지를 입력으로 받아 각각의 객체를 감지하고, 각각의 객체에 대해 경계 상자(bounding box)를 출력하는 딥러닝 모델입니다. Fast R-CNN의 핵심 아이디어는 전체 이미지를 CNN(Convolutional Neural Network)에 한 번만 통과시키는 것입니다. 이를 통해 R-CNN이 가지고 있던 느린 속도의 문제를 해결합니다.
1.1. Fast R-CNN의 특징
- 전역 피쳐 맵(global feature map): 입력 이미지를 CNN을 통해 한번 처리하여 전체적인 피쳐 맵을 생성합니다.
- RoI 풀링(Region of Interest pooling): 객체 후보 영역에 대해 고정된 크기의 피쳐를 추출합니다.
- Fast learning: SGD(Stochastic Gradient Descent)와 end-to-end 학습 방식으로 빠른 진행 가능합니다.
- Softmax Classification: 객체의 종류를 분류하고, 경계 상자를 보정하는 두 가지 출력을 제공합니다.
2. Fast R-CNN 구조
Fast R-CNN은 크게 네 가지 단계로 구성됩니다. 첫 번째는 CNN을 통해 피쳐 맵을 생성하는 단계입니다. 두 번째는 후보 영역을 추출하는 단계입니다. 세 번째는 각 후보 영역에 대해 RoI 풀링을 수행하여 고정 크기의 피쳐를 생성하는 단계입니다. 마지막으로는 소프트맥스 클래시피케이션 및 경계 박스 회귀를 통한 최종 출력을 생성하는 단계입니다.
2.1. CNN을 통한 Feature Map 생성
입력 이미지를 CNN을 통과시켜 피쳐 맵을 생성합니다. 일반적으로 VGG16이나 ResNet과 같은 사전 학습된 모델을 사용하여 성능을 극대화합니다.
2.2. 후보 영역(Region Proposal) 추출
Fast R-CNN은 Selective Search와 같은 방법(Region Proposal Network는 아닙니다.)을 사용하여 후보 영역을 추출합니다. 이 후보 영역은 후속 단계에서 RoI 풀링을 통해 고정된 크기의 피쳐 벡터로 변환됩니다.
2.3. RoI 풀링
RoI 풀링 단계에서는 후보 영역에 해당하는 피쳐 맵을 고정된 크기로 변환합니다. 이는 다양한 크기의 영역을 동일한 크기의 텐서로 변환하여 네트워크가 처리할 수 있도록 합니다.
2.4. 최종 Classification 및 Bounding Box 회귀
마지막으로, RoI 풀링을 통해 생성된 피쳐는 두 개의 별도의 Fully Connected Layer를 통과하게 됩니다. 하나는 클래스 예측을 위한 Softmax Layer이며, 다른 하나는 경계 상자를 조정하는 회귀 레이어입니다.
3. Fast R-CNN 구현
이제 Fast R-CNN의 구조를 이해했으니, 파이토치를 사용하여 기본적인 Fast R-CNN 모델을 구현해보겠습니다. 아래의 코드는 Fast R-CNN의 기본 구조를 구성하는 데 중점을 둡니다.