생성적 적대 신경망(Generative Adversarial Network, GAN)은 2014년 Ian Goodfellow가 제안한 혁신적인 딥러닝 모델입니다. GAN은 새로운 데이터 샘플을 생성하는 데 사용되며, 주로 이미지 생성, 비디오 생성, 음성 합성 등 다양한 분야에서 활발히 활용되고 있습니다. 그러나 GAN의 훈련 과정은 여러 가지 난관에 직면하게 됩니다. 이 글에서는 파이토치를 활용한 GAN 구현 방법과 함께 이러한 난관에 대해 자세히 설명하고, 실제 예제 코드와 함께 풀이 과정을 다루겠습니다.
1. GAN의 기본 구조
GAN은 두 개의 신경망, 즉 생성자(Generator)와 구분자(Discriminator)로 구성되어 있습니다. 이 두 네트워크는 서로 적대적 관계에 있으며, 생성자는 진짜와 같은 가짜 데이터를 생성하려고 하며, 구분자는 진짜 데이터와 가짜 데이터를 구분하려고 노력합니다.
이러한 과정은 게임 이론의 개념과 유사하여, 두 네트워크는 최종적으로 균형을 이룰 때까지 경쟁합니다. GAN의 목표는 생성자가 충분히 구분자를 속일 수 있을 만큼 진짜 같은 데이터를 생성하는 것입니다.
2. GAN의 수학적 배경
GAN은 두 가지 함수로 표현됩니다: 생성자 G와 구분자 D. 생성자는 무작위 노이즈 z를 입력으로 받아 진짜와 같은 데이터 x의 분포 P_data를 근사하도록 학습합니다. 구분자는 진짜 데이터와 생성된 가짜 데이터의 분포 P_g를 구별하기 위해 학습됩니다.
GAN의 목표는 다음과 같은 게임적 최적 문제를 푸는 것입니다:
min_G max_D V(D, G) = E[log D(x)] + E[log(1 - D(G(z)))]
여기서 E는 기대값을 나타내며, D는 진짜 데이터 x에 대한 확률을 기준으로 로그를 취한 것입니다. GAN의 최적화 문제는 생성자와 구분자가 동시에 학습하여 진짜 데이터와 같은 분포를 생성하는 방향으로 이루어집니다.
3. GAN 구현하기: 파이토치 기본 예제
이제 파이토치를 사용하여 GAN의 기본적인 구현을 살펴보겠습니다. 본 예제에서는 MNIST 데이터셋을 사용하여 손글씨 숫자 이미지를 생성하는 GAN을 구현해볼 것입니다.
3.1 데이터셋 준비
먼저 필요한 라이브러리를 임포트하고, MNIST 데이터셋을 로드하겠습니다.
import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms
import matplotlib.pyplot as plt
import numpy as np
# 데이터셋 다운로드 및 로드
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])
train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)
3.2 생성자 모델 정의
생성자 모델은 주어진 노이즈 벡터 z를 입력으로 받아 가짜 이미지를 생성합니다.
class Generator(nn.Module):
def __init__(self):
super(Generator, self).__init__()
self.model = nn.Sequential(
nn.Linear(100, 256),
nn.ReLU(),
nn.Linear(256, 512),
nn.ReLU(),
nn.Linear(512, 1024),
nn.ReLU(),
nn.Linear(1024, 784),
nn.Tanh()
)
def forward(self, z):
return self.model(z).view(-1, 1, 28, 28)
generator = Generator()
3.3 구분자 모델 정의
구분자 모델은 입력받은 이미지를 바탕으로 진짜인지 가짜인지 구분합니다.
class Discriminator(nn.Module):
def __init__(self):
super(Discriminator, self).__init__()
self.model = nn.Sequential(
nn.Linear(784, 512),
nn.LeakyReLU(0.2),
nn.Linear(512, 256),
nn.LeakyReLU(0.2),
nn.Linear(256, 1),
nn.Sigmoid()
)
def forward(self, img):
return self.model(img.view(-1, 784))
discriminator = Discriminator()
3.4 손실 함수 및 최적화 설정
이제 GAN의 손실 함수와 최적화를 설정하겠습니다.
criterion = nn.BCELoss()
optimizer_G = optim.Adam(generator.parameters(), lr=0.0002, betas=(0.5, 0.999))
optimizer_D = optim.Adam(discriminator.parameters(), lr=0.0002, betas=(0.5, 0.999))
3.5 GAN 훈련 과정
마지막으로 GAN을 훈련하는 과정을 구현하겠습니다.
num_epochs = 200
for epoch in range(num_epochs):
for i, (imgs, _) in enumerate(train_loader):
# 진짜 이미지와 레이블 생성
real_imgs = imgs
real_labels = torch.ones(imgs.size(0), 1)
# 가짜 이미지 생성 및 레이블 생성
noise = torch.randn(imgs.size(0), 100)
fake_imgs = generator(noise)
fake_labels = torch.zeros(imgs.size(0), 1)
# 구분자 업데이트
optimizer_D.zero_grad()
outputs = discriminator(real_imgs)
d_loss_real = criterion(outputs, real_labels)
d_loss_real.backward()
outputs = discriminator(fake_imgs.detach())
d_loss_fake = criterion(outputs, fake_labels)
d_loss_fake.backward()
optimizer_D.step()
# 생성자 업데이트
optimizer_G.zero_grad()
outputs = discriminator(fake_imgs)
g_loss = criterion(outputs, real_labels)
g_loss.backward()
optimizer_G.step()
print(f'Epoch [{epoch+1}/{num_epochs}], d_loss: {d_loss_real.item() + d_loss_fake.item()}, g_loss: {g_loss.item()}')
if (epoch + 1) % 20 == 0:
with torch.no_grad():
fake_imgs = generator(noise)
plt.imshow(fake_imgs[0][0].cpu().numpy(), cmap='gray')
plt.show()
4. GAN의 훈련 중 직면하는 난관
GAN 훈련 과정 중에는 여러 가지 난관이 존재합니다. 여기서는 그 중 몇 가지 주요 문제와 해결 방법을 다루겠습니다.
4.1 모드 붕괴 (Mode Collapse)
모드 붕괴란 생성자가 빠르게 구분자를 속이기 때문에 인지적 다양성이 없는 동일한 이미지만 생성하는 현상입니다. 이는 GAN의 큰 문제 중 하나로, 생성자의 다양성을 방해하며 품질 있는 이미지를 생성하는 데 방해가 됩니다.
이 문제를 해결하기 위해 다양한 기법이 사용됩니다. 예를 들어, 다양한 손실 함수를 사용하여 생성자의 다양성을 늘리거나, 구분자의 구조를 복잡하게 하여 모드 붕괴를 방지할 수 있습니다.
4.2 비소실 (Non-convergence)
GAN은 종종 훈련이 불안정하여 수렴하지 않을 수 있습니다. 이는 위에서 보았던 손실 함수의 값이 지속적으로 변동하거나, 생성자와 구분자가 공존하지 못하는 상황을 초래합니다. 이는 학습률과 배치 크기를 조정하거나, 여러 단계의 훈련 조정을 통해 해결할 수 있습니다.
4.3 불균형 (Unbalanced Training)
불균형한 훈련은 생성자와 구분자가 동시에 훈련될 때 한쪽이 다른 쪽보다 우세하게 학습될 수 있는 문제를 나타냅니다. 예를 들어, 구분자가 너무 강력하게 학습되면 생성자는 극복할 수 없는 상황이 되어 학습을 포기하게 됩니다. 이 문제를 해결하기 위해 주기적으로 생성자와 구분자를 따로 갱신하거나, 환경에 따라 손실 함수 또는 학습률을 조정할 수 있습니다.
5. GAN의 발전 방향
최근 GAN 기술은 대폭 발전하여 다양한 변형 모델이 등장하였습니다. DCGAN(Deep Convolutional GAN), WGAN(Wasserstein GAN) 및 StyleGAN 등이 이에 해당합니다. 이러한 모델은 GAN의 기존 문제를 해결하고 더 나은 성능을 제공합니다.
5.1 DCGAN
DCGAN은 CNN(Convolutional Neural Network)을 기반으로 한 GAN 구조로, 이미지를 생성하는 데에 훨씬 더 효율적입니다. 이 구조는 이미지 생성의 품질을 크게 향상시킵니다.
5.2 WGAN
WGAN은 Wasserstein 거리 개념을 사용하여 GAN 훈련의 안정성과 성능을 크게 향상시킵니다. WGAN은 생성자와 구분자 간의 거리를 보존하여 학습의 안정성을 보장합니다.
5.3 StyleGAN
StyleGAN은 스타일 전이(Style Transfer) 개념을 도입하여 생성된 이미지에 대한 높은 품질을 유지하면서 다양한 스타일을 학습가능하게 합니다. ImageNet 데이터셋을 기반으로 한 이미지 생성에서는 특히 두각을 나타냅니다.
결론
GAN은 데이터 생성 분야에서 혁신적인 성과를 이루어낸 중요한 모델입니다. 파이토치를 통해 GAN을 구현함으로써 생성 모델의 기본 개념을 익힐 수 있으며, 여러 가지 문제점들을 이해하고 이를 극복하는 방향으로 발전할 수 있습니다.
향후 GAN 기술이 더욱 발전하여 다양한 분야에서 활용될 수 있기를 기대합니다. GAN을 활용한 연구와 개발은 계속해서 이어질 것이며, 새로운 접근 방식을 통해 앞으로 큰 가능성을 열 수 있습니다.