객체 검출(Object Detection)은 이미지나 비디오의 객체를 식별하고 그 위치를 찾는 기술입니다. 최근 YOLO(You Only Look Once) 모델이 객체 검출 분야에서 혁신적인 성과를 보이며 널리 사용되고 있습니다. 본 강좌에서는 YOLO 모델을 이용한 객체 추적과 다중 객체 검출 방법, 그리고 SORT(Simple Online and Realtime Tracking) 알고리즘과 연동하는 방법에 대해 자세히 설명하겠습니다.

1. YOLO 모델 소개

YOLO는 2016년 Joseph Redmon이 처음 제안한 객체 검출 시스템으로, 전체 이미지를 한 번에 처리하여 속도와 정확성의 균형을 이룹니다. YOLO의 기본 원리는 이미지를 그리드로 나누고 각 그리드 셀에서 객체를 예측하는 것입니다. YOLO는 다양한 버전이 있으며, YOLOv3, YOLOv4, YOLOv5 등 최신 버전들이 출시되었습니다.

2. YOLO 설치와 환경 설정

YOLO를 사용하기 위해 먼저 필요한 라이브러리와 패키지를 설치해야 합니다. 아래는 Python 환경에서 YOLOv5를 설치하는 방법입니다.

!git clone https://github.com/ultralytics/yolov5.git
%cd yolov5
!pip install -r requirements.txt

3. YOLO 모델을 이용한 객체 검출

다음으로 YOLO 모델을 사용하여 객체를 검출하는 코드를 작성해보겠습니다. YOLOv5 모델을 사용하여 이미지를 검출하고, 검출된 객체를 시각화합니다.

import torch
from PIL import Image
import cv2

# YOLOv5 모델 불러오기
model = torch.hub.load('ultralytics/yolov5:v5.0', 'yolov5s')

# 이미지 로드
img_path = 'path/to/your/image.jpg'
img = Image.open(img_path)

# 객체 검출
results = model(img)

# 검출 결과 시각화
results.show()

위 코드는 특정 이미지에서 객체를 검출하고 해당 결과를 시각화합니다. YOLOv5 모델을 사용하여 ‘yolov5s’라는 경량 모델을 로드하고, 주어진 이미지를 기반으로 객체를 검출합니다.

4. 다중 객체 검출

YOLO의 장점 중 하나는 다중 객체를 동시에 검출할 수 있는 것입니다. 다음 코드에서는 비디오에서 여러 객체를 실시간으로 검출합니다.

cap = cv2.VideoCapture('path/to/your/video.mp4')

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break

    # 객체 검출
    results = model(frame)
    
    # 결과를 이미지로 변환
    img = results.render()

    # 검출 결과 보여주기
    cv2.imshow('YOLO Object Detection', img[0])
    
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

5. 객체 추적 소개: SORT (Simple Online and Realtime Tracking)

SORT는 객체의 움직임을 추적하기 위한 간단하고 실시간으로 처리 가능한 알고리즘입니다. SORT는 Kalman Filter와 Hungarian Algorithm을 결합하여 실시간으로 객체를 추적합니다. YOLO와 결합시켜서 객체의 경로를 추적할 수 있습니다.

6. YOLO와 SORT 연동하기

YOLO로 검출한 객체를 SORT 알고리즘을 사용하여 추적할 수 있습니다. 아래 코드는 YOLO 모델에서 검출한 객체를 SORT를 이용하여 추적하는 예제입니다.

from sort import Sort

# SORT 필터 초기화
tracker = Sort()

# 비디오 캡처
cap = cv2.VideoCapture('path/to/your/video.mp4')

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break

    # 객체 검출
    results = model(frame)
    
    # 검출된 박스 가져오기
    detections = results.pandas().xyxy[0][['xmin', 'ymin', 'xmax', 'ymax', 'confidence', 'class']].to_numpy()

    # SORT를 사용하여 객체 추적
    trackers = tracker.update(detections)

    # 추적 결과를 시각화
    for d in trackers:
        x1, y1, x2, y2, track_id = int(d[0]), int(d[1]), int(d[2]), int(d[3]), int(d[4])
        cv2.rectangle(frame, (x1, y1), (x2, y2), (255, 0, 0), 2)
        cv2.putText(frame, f'ID: {track_id}', (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 0, 0), 2)

    cv2.imshow('YOLO and SORT Tracking', frame)
    
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

위 코드는 YOLO로 검출된 객체의 경계 상자 정보를 SORT에 전달하고, 각각의 객체를 추적합니다. 추적된 객체에는 고유한 ID가 부여되며, 비디오 프레임에 표시됩니다.

7. 성능 개선 및 최적화

YOLO와 SORT를 결합하여 객체 추적 시스템을 구축할 때 몇 가지 성능 개선 전략을 고려할 수 있습니다:

• 모델 최적화: YOLO의 경량 버전을 사용하는 것이 좋습니다. 예를 들어, YOLOv5s 대신 YOLOv5m 또는 YOLOv5l를 고려할 수 있습니다.
• 프레임 수 감소: 비디오의 프레임 수를 줄이는 것도 성능을 향상시키는 방법입니다. 예를 들어, 2초마다 하나의 프레임을 처리하도록 설정할 수 있습니다.
• GPU 가속: 컴퓨터 비전 작업은 GPU에서 훨씬 더 빠르게 이루어집니다. NVIDIA GPU를 사용할 수 있는 경우 CUDA를 활용하여 YOLO 모델을 더 빠르게 실행할 수 있습니다.

8. 결론

YOLO와 SORT를 조합하여 객체 검출 및 추적 시스템을 구현하는 방법에 대해 살펴보았습니다. YOLO는 빠르고 정확한 객체 검출을 제공하며, SORT는 이를 기반으로 실시간 객체 추적을 가능하게 합니다. 이러한 시스템은 자율주행차, 보안 시스템, 스마트 시티 등 다양한 분야에 응용될 수 있습니다.

이 강좌가 YOLO와 SORT를 활용한 객체 추적 시스템을 이해하는 데 도움이 되었기를 바랍니다. 추가적으로 YOLO 모델을 훈련하고, 더 많은 객체 클래스를 추가하여 시스템을 더 발전시킬 수 있습니다.

본 강좌에서는 YOLO(You Only Look Once) 모델을 사용하여 단일 모델로 객체 검출과 분류를 동시에 수행하는 방법에 대해 설명합니다. YOLO는 실시간 객체 검출에 최적화된 딥러닝 모델로, 한 번의 패스에서 복잡한 정보 처리를 가능하게 하여 매우 효율적입니다.

YOLO 개요

YOLO는 다양한 객체를 하나의 이미지에서 동시에 감지하고 분류하는 능력을 가지고 있으며, 이 때문에 멀티태스킹 모델을 구축하는 데 적합한 선택입니다. YOLO의 작동 방식은 이미지 전체를 그리드로 나누고 각 그리드에서 객체의 존재 여부와 그 객체의 클래스 확률을 예측하는 것입니다.

YOLO의 구조

YOLO의 기본 구조는 다음과 같은 요소로 이루어져 있습니다:

• 입력층: 이미지가 YOLO 네트워크에 입력됩니다.
• 합성곱층: 이미지에서 특징을 추출하는 여러 합성곱 레이어를 포함합니다.
• 출력층: 각 그리드 셀에 대해 박스 좌표와 클래스 확률을 출력합니다.

모델 구축을 위한 환경 설정

YOLO 모델을 구축하고 훈련하기 위해서는 몇 가지 필수 패키지를 설치해야 합니다. 다음은 Python 환경에서 YOLOv5를 사용하는 예시입니다.

!pip install torch torchvision torchaudio
!pip install matplotlib
!pip install opencv-python
!pip install numpy

데이터 준비

멀티태스킹 모델을 구축하기 위해서는 객체 검출과 분류에 필요한 데이터를 준비해야 합니다. COCO 데이터셋이나 Pascal VOC 데이터셋과 같은 공개 데이터셋을 사용할 수 있습니다. 데이터는 두 가지 형식으로 준비해야 합니다:

• 물체의 위치를 나타내는 바운딩 박스 좌표
• 각 물체에 해당하는 클래스 레이블

데이터셋 포맷

YOLO에서 사용하는 데이터셋 포맷은 각 객체에 대한 정보를 포함하는 텍스트 파일의 형태입니다. 예를 들어, 다음과 같은 정보를 포함할 수 있습니다:

0 0.5 0.5 0.2 0.2  # 클래스 번호, x_center, y_center, width, height
1 0.4 0.4 0.1 0.1  # 또 다른 객체 정보

YOLO 모델 아키텍처

YOLO 모델의 아키텍처 구성 요소는 다음과 같습니다:

• Backbone: 특징 추출
• Neck: 다양한 계층에서의 특징을 결합하여 더 강력한 특징을 생성
• Head: 최종적으로 감지한 객체의 바운딩 박스 및 클래스 예측

YOLOv5 모델 구현

YOLOv5는 PyTorch로 구현된 최신 YOLO 버전 중 하나입니다. 다음은 PyTorch를 사용하여 YOLOv5 모델을 불러오는 코드 예시입니다:

import torch

# YOLOv5 모델 로드
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)

모델 훈련

Yolov5 모델을 커스터마이즈하여 훈련하기 위해서는 다음과 같은 방법으로 진행할 수 있습니다.

!python train.py --img 640 --batch 16 --epochs 50 --data data.yaml --weights yolov5s.pt

위 코드를 사용하면 640×640 해상도의 이미지를 사용하여, 배치 크기 16으로 50 epoch 훈련하게 됩니다. ‘data.yaml’ 파일은 학습시 사용할 데이터셋에 대한 정보를 포함해야 합니다.

테스트와 평가

모델 훈련 후, YOLOv5 모델을 사용하여 이미지나 비디오 스트림에서 객체를 탐지할 수 있습니다. 다음은 이미지를 사용하여 테스트하는 예시입니다:

results = model('test.jpg')  # 입력 이미지
results.show()  # 결과 이미지 표시

정확도 평가

훈련된 모델의 성능을 평가하기 위해 Mean Average Precision (mAP) 등의 지표를 사용할 수 있습니다. 일반적인 평가 방법은 다음과 같습니다:

from utils.metrics import box_iou

# 예측 박스 및 실제 박스 예제
pred_boxes = torch.tensor([[0.5, 0.5, 0.2, 0.2]])
true_boxes = torch.tensor([[0.5, 0.5, 0.1, 0.1]])

iou = box_iou(pred_boxes, true_boxes)
print(f'IOU: {iou}')  # IOU 값 출력

멀티태스킹을 통한 대안

YOLO를 사용하여 동시에 여러 작업(객체 검출과 분류)을 실행할 수 있는 멀티태스킹 모델을 만들어 보겠습니다. 이 모델은 입력된 이미지에서 객체를 감지하고, 각 객체의 분류를 동시에 수행합니다. 따라서 각 객체에 대해 빠르고 효율적인 검출과 분류가 가능합니다.

멀티태스킹 모델 점검

YOLO의 기본 구조를 기반으로 멀티태스킹 능력을 향상시키기 위한 방법은 다음과 같습니다:

• 출력층을 수정하여 클래스와 바운딩박스를 동시에 예측하도록 한다.
• 훈련 데이터를 통한 객체 분류 정보를 네트워크에 학습시킨다.

모델 변형

멀티태스킹 능력을 향상시키기 위해 CustomHead 모듈을 설계할 수 있습니다. 이 모듈은 객체의 바운딩 박스와 분류 정보 모두를 출력하도록 구성할 수 있습니다.

import torch.nn as nn

class CustomHead(nn.Module):
    def __init__(self):
        super(CustomHead, self).__init__()
        self.fc1 = nn.Linear(1024, 512)  # Feature Extraction
        self.box_output = nn.Linear(512, 4)  # Bounding Box Output
        self.class_output = nn.Linear(512, num_classes)  # Class Output

    def forward(self, x):
        x = nn.ReLU()(self.fc1(x))
        boxes = self.box_output(x)
        classes = self.class_output(x)
        return boxes, classes

결론

본 강좌에서는 YOLO 모델을 사용하여 멀티태스킹 모델을 구축하는 방법을 설명했습니다. YOLO는 객체 검출 및 분류를 동시에 수행할 수 있는 능력을 제공하며, 이를 통해 다양한 분야에서 활용할 수 있는 효율적인 모델을 만들 수 있습니다. 멀티태스킹 모델을 구축하는 과정에서 YOLO의 내부 구조와 특징, 훈련 방법 및 평가 방법에 대해 깊이 이해할 수 있었습니다.

참고자료

• YOLO 공식 GitHub: AlexeyAB/darknet
• Ultralytics YOLOv5: ultralytics/yolov5
• PyTorch: pytorch.org

본 글에서는 YOLO(You Only Look Once) 알고리즘을 사용하여 실시간 객체 검출 애플리케이션을 구축하는 방법을 설명합니다.
YOLO는 고속으로 객체를 탐지할 수 있는 알고리즘으로, 다양한 분야에서 활용되고 있습니다.
OpenCV와 함께 YOLO를 사용하여 웹캠에서 실시간으로 객체를 검출하는 시스템을 만드는 과정을 자세히 설명하겠습니다.

1. YOLO란?

YOLO는 객체 검출을 위해 설계된 신경망 기반의 알고리즘으로, 객체를 탐지할 때 이미지를 여러 개의 그리드로 나누고
각 그리드에서 객체의 경계 상자(bounding box)와 클래스 확률을 예측합니다.
이는 속도가 빠르며 높은 정확도를 자랑하기 때문에 실시간 객체 검출에 적합합니다.

1.1 YOLO의 작동 원리

YOLO는 이미지 전체를 한 번에 처리하는 방식으로 작동합니다. 이 과정은 다음과 같습니다:

1. 이미지를 S x S 그리드로 나눈다.
2. 각 그리드 셀은 그리드 내에서 객체가 있는 경우, 해당 객체의 경계 상자와 클래스 확률을 예측한다.
3. 예측된 경계 상자 및 클래스 확률을 바탕으로 최종 객체 검출 결과를 생성한다.

기본적으로 YOLO는 CNN(Convolutional Neural Network)을 기반으로 하여 객체 탐지를 수행하며,
각각의 그리드 셀에서 객체가 존재할 확률과 함께 경계 상자를 예측합니다.

2. YOLO 모델 다운로드

YOLO 모델을 사용하기 위해서는 학습된 가중치 파일이 필요합니다.
여기서는 YOLOv3 모델을 사용할 것입니다. YOLOv3의 가중치를 다운로드하려면 아래의 명령어를 사용할 수 있습니다.

wget https://pjreddie.com/media/files/yolov3.weights

3. OpenCV 설치

YOLO를 OpenCV와 함께 사용하기 위해 OpenCV 라이브러리를 설치해야 합니다.
Python에서 OpenCV를 설치하려면 pip 명령어를 사용할 수 있습니다.

pip install opencv-python

4. YOLO와 OpenCV 통합

이제 YOLO 모델과 OpenCV를 통합하여 실시간 객체 검출을 수행하는 코드를 작성해보겠습니다.
아래 코드는 웹캠에서 프레임을 읽고 YOLO를 사용하여 객체를 검출하는 예제입니다.

import cv2
import numpy as np

# YOLO 모델 설정 파일 경로
configPath = "yolov3.cfg"
weightsPath = "yolov3.weights"

# 클래스 이름을 가져옵니다.
with open("coco.names", "r") as f:
    classes = [line.strip() for line in f.readlines()]

# YOLO 네트워크를 로드합니다.
net = cv2.dnn.readNet(weightsPath, configPath)

# 웹캠을 오픈합니다.
cap = cv2.VideoCapture(0)

while True:
    # 웹캠에서 프레임을 읽어 옵니다.
    _, frame = cap.read()
    height, width, _ = frame.shape

    # YOLO의 입력으로 사용할 blob을 생성합니다.
    blob = cv2.dnn.blobFromImage(frame, 0.00392, (416, 416), (0, 0, 0), True, crop=False)
    net.setInput(blob)

    # 네트워크의 출력을 가져옵니다.
    layerNames = net.getLayerNames()
    outputLayers = [layerNames[i[0] - 1] for i in net.getUnconnectedOutLayers()]
    outputs = net.forward(outputLayers)

    boxes = []
    confidences = []
    classIDs = []

    # 출력을 분석하여 객체 정보를 획득합니다.
    for output in outputs:
        for detection in output:
            scores = detection[5:]
            classID = np.argmax(scores)
            confidence = scores[classID]

            if confidence > 0.5:  # 신뢰도가 0.5 이상인 경우만 처리
                # 객체의 위치를 계산합니다.
                centerX = int(detection[0] * width)
                centerY = int(detection[1] * height)
                w = int(detection[2] * width)
                h = int(detection[3] * height)

                # 직사각형의 좌상단 좌표를 계산합니다.
                x = int(centerX - w / 2)
                y = int(centerY - h / 2)

                boxes.append([x, y, w, h])
                confidences.append(float(confidence))
                classIDs.append(classID)

    # 비최대 억제(Non-Maximum Suppression)를 적용합니다.
    indexes = cv2.dnn.NMSBoxes(boxes, confidences, 0.5, 0.4)

    # 최종적으로 결과를 화면에 표시합니다.
    for i in range(len(boxes)):
        if i in indexes:
            x, y, w, h = boxes[i]
            label = str(classes[classIDs[i]])
            cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
            cv2.putText(frame, label, (x, y + 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)

    # 결과 프레임을 화면에 표시합니다.
    cv2.imshow("YOLO Object Detection", frame)

    # 'q' 키를 눌러 종료합니다.
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# 웹캠과 창을 종료합니다.
cap.release()
cv2.destroyAllWindows()

5. 코드 설명

위 코드는 웹캠에서 실시간으로 객체를 탐지하는 전체 애플리케이션입니다.
코드의 주요 부분을 살펴보면 다음과 같습니다:

• cv2.VideoCapture(0): 기본 웹캠을 열기 위한 코드입니다.
• cv2.dnn.blobFromImage(): YOLO 모델의 입력으로 사용할 블롭(blob)을 생성합니다.
• net.forward(): 네트워크를 통해 출력을 가져옵니다.
• 비최대 억제를 통해 검출된 여러 객체들 중에서 가장 신뢰도가 높은 것만을 계수합니다.

6. 성능 향상을 위한 팁

YOLO의 성능을 향상시키기 위한 몇 가지 팁은 다음과 같습니다:

• 신뢰도 임계값 조정: confidence > 0.5로 설정된 신뢰도 임계값을 조정하여 검출 정확도를 개선할 수 있습니다.
• 이미지 크기 조정: 입력 이미지 크기를 조정하여 처리 속도를 높일 수 있습니다.
  blobFromImage()의 두 번째 인자로 조정 가능합니다.
• 다양한 YOLO 모델 사용: 최신 YOLO 버전(n, YOLOv5 등) 등을 사용하여 성능을 높일 수 있습니다.

7. 결론

본 강좌에서는 YOLO를 이용한 실시간 객체 검출 애플리케이션을 구축하는 방법을 알아보았습니다.
OpenCV와 결합하여 쉽게 사용할 수 있으며, 다양한 응용 프로그램에 활용이 가능합니다.
YOLO의 장점을 잘 이해하고, 효과적으로 실시간 객체 검출 시스템을 구축해보시기 바랍니다.