딥러닝 파이토치 강좌, 횟수 예측 기반 임베딩

1. 임베딩이란?

임베딩은 고차원 데이터를 저차원으로 변환하여 의미를 보존하는 방법을 의미합니다. 특히 자연어 처리(NLP)와 추천 시스템에서 많이 사용됩니다. 예를 들어, 단어를 벡터로 표현하여 단어 간의 의미 유사성을 계산할 때 임베딩 기법을 사용합니다. 임베딩은 다양한 형태로 존재할 수 있으며, 여기에서는 두 가지 주요 방식인 횟수 기반 임베딩과 예측 기반 임베딩에 대해 설명합니다.

2. 횟수 기반 임베딩

횟수 기반 임베딩은 특정 데이터의 발생 빈도 수를 기반으로 임베딩을 수행하는 방식입니다. 가장 대표적인 예로는 TF-IDF(vectorization), Bag of Words(BOW) 등이 있습니다. 이러한 방법들은 단어의 출현 빈도를 기반으로 하여 문서의 특징을 파악합니다.

2.1. TF-IDF 설명

TF-IDF(Term Frequency-Inverse Document Frequency)는 단어의 중요성을 평가하기 위한 통계적 수치입니다. TF는 특정 단어가 문서 내에서 얼마나 자주 나타나는지를 나타내며, IDF는 대량의 문서 내에서 특정 단어가 얼마나 드물게 나타나는지를 나타냅니다.

2.2. 파이토치로 TF-IDF 구현하기

아래는 파이토치를 사용하여 간단한 TF-IDF 계산 예제입니다.

import torch
from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as np

# 샘플 텍스트 데이터
documents = [
    "이것은 첫 번째 문서입니다.",
    "이 문서는 두 번째 문서입니다.",
    "그리고 이 문서는 세 번째 문서입니다.",
    "문서는 여기서 끝납니다."
]

# TF-IDF 벡터화
vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform(documents)
tfidf_array = tfidf_matrix.toarray()

# 결과 출력
print("단어 목록:", vectorizer.get_feature_names_out())
print("TF-IDF 행렬:\n", tfidf_array)
        

위 코드는 TF-IDF 벡터화를 통해 각 문서에서의 단어 출현 빈도를 계산합니다. 결과적으로 단어 목록과 각 문서에 대한 TF-IDF 행렬을 출력합니다.

3. 예측 기반 임베딩

예측 기반 임베딩은 딥러닝 모델을 통해 단어 또는 아이템의 임베딩을 학습하는 방법입니다. Word2Vec, GloVe 등의 기법이 대표적입니다. 이 방법은 주변 단어를 기반으로 특정 단어의 임베딩을 학습하는 방식이며, 이 결과로 얻어진 임베딩은 의미적으로 유사한 단어 간의 거리도 가까워지는 특성을 가집니다.

3.1. Word2Vec 설명

Word2Vec은 단어를 벡터 공간에 매핑하는 대표적인 예측 기반 임베딩 기법으로, Continuous Bag of Words (CBOW)와 Skip-Gram 두 가지 모델을 제공합니다. CBOW 모델은 주어진 단어의 주변 단어들로부터 그 단어를 예측하는 방식을 사용하고, Skip-Gram 모델은 주어진 단어로부터 주변 단어들을 예측하는 방식입니다.

3.2. PyTorch로 Word2Vec 구현하기

아래는 PyTorch를 사용하여 Skip-Gram 모델을 구현하는 예제입니다.

import torch
import torch.nn as nn
import torch.optim as optim
from collections import Counter

# 샘플 데이터를 실행할 함수 정의
def prepare_data(documents):
    words = [word for doc in documents for word in doc.split()]
    word_counts = Counter(words)
    vocabulary_size = len(word_counts)
    word2idx = {words: i for i, words in enumerate(word_counts.keys())}
    idx2word = {i: words for words, i in word2idx.items()}
    return word2idx, idx2word, vocabulary_size

# Skip-Gram 모델 정의
class SkipGramModel(nn.Module):
    def __init__(self, vocab_size, embed_size):
        super(SkipGramModel, self).__init__()
        self.embedding = nn.Embedding(vocab_size, embed_size)

    def forward(self, center_word):
        return self.embedding(center_word)

# 설정 및 데이터 준비
documents = [
    "이것은 첫 번째 문서입니다",
    "이 문서는 두 번째 문서입니다",
    "그리고 이 문서는 세 번째 문서입니다"
]
word2idx, idx2word, vocab_size = prepare_data(documents)

# 모델 설정 및 훈련
embed_size = 10
model = SkipGramModel(vocab_size, embed_size)
loss_function = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 예제 입력
input_word = torch.tensor([word2idx['이것은']])
target_word = torch.tensor([word2idx['첫 번째']])

# 훈련 프로세스 (1 epochs 예시)
for epoch in range(1):
    model.zero_grad()
    # 예측
    predictions = model(input_word)
    # 손실 계산
    loss = loss_function(predictions.view(1, -1), target_word)
    loss.backward()
    optimizer.step()
    
# 결과 출력
print("단어 '이것은'의 임베딩 벡터:\n", model.embedding.weight[word2idx['이것은']].detach().numpy())
        

위 코드는 PyTorch를 사용하여 Skip-Gram 모델을 간단히 구현한 것입니다. 각 단어 엠베딩을 학습하고, 특정 단어의 임베딩 벡터를 출력합니다.

4. 결론

이번 글에서는 임베딩의 개념과 함께 횟수 기반 및 예측 기반 임베딩 기법에 대해 알아보았습니다. TF-IDF와 같은 횟수 기반 방식은 데이터의 발생 빈도를 바탕으로 한 것이고, Word2Vec과 같은 예측 기반 방식은 딥러닝 모델을 통해 단어의 의미를 학습하는 방식입니다. 각 임베딩 기법의 특성을 이해하고, 실제 예제를 통해 이를 적용하는 과정을 배웠습니다.

딥러닝에서는 데이터의 특성을 이해하고 이를 기반으로 한 임베딩 기법의 선택이 매우 중요한데, 이를 통해 모델의 성능을 크게 향상시킬 수 있습니다. 다음 내용에서는 이들 기법을 확장하여 더 복잡한 모델을 구현해 나가는 방법을 다룰 예정이니 많은 관심 부탁드립니다.