허깅페이스 트렌스포머 활용강좌, BERT 앙상블 학습 – 커스텀 데이터세트 정의

서론

딥러닝은 최근 몇 년간 자연어 처리(NLP) 분야에서 혁신을 일으켜왔습니다. 특히 BERT(Bidirectional Encoder Representations from Transformers) 모델은 문맥을 이해하는 데 강력한 성능을 발휘하며, 다양한 NLP 과제에서 최첨단 성능을 기록했습니다. 본 글에서는 허깅페이스의 Transformers 라이브러리를 활용하여 BERT 모델의 앙상블 학습을 구현하고, 커스텀 데이터셋을 정의하는 방법을 자세히 설명하겠습니다.

1. 허깅페이스 Transformers 소개

허깅페이스는 NLP 모델을 쉽게 사용할 수 있도록 다양한 고급 라이브러리를 만듭니다. 특히 Transformers 라이브러리는 BERT, GPT-2, T5 등 여러 최신 모델을 쉽게 사용할 수 있게 해줍니다. 이 라이브러리를 사용하면 복잡한 신경망 구성 과정을 단순화할 수 있습니다.

1.1 BERT란 무엇인가?

BERT는 양방향 Transformer 인코더로서, 문장 내에서의 단어 간의 관계를 효과적으로 파악할 수 있습니다. BERT는 두 가지 주요 단계로 학습됩니다: 마스킹 된 언어 모델링(MLM)과 다음 문장 예측(NSP)입니다. 이러한 학습 방식 덕분에 BERT는 문맥을 이해하고 다양한 NLP 과제에서 우수한 성능을 발휘합니다.

2. 앙상블 학습의 개념

앙상블 학습(Ensemble Learning)은 여러 개의 모델을 결합해 더 나은 예측 성능을 끌어내는 기법입니다. 단일 모델이 가지는 편향을 줄이고, 모델의 다양성을 통해 성능을 향상시킬 수 있습니다. 일반적으로 사용되는 앙상블 기법에는 배깅(Bagging)과 부스팅(Boosting) 등이 있습니다. BERT 모델의 앙상블 학습을 통해 다양한 모델의 강점을 결합해볼 것입니다.

3. 환경 설정

본 강좌에서는 Python과 Hugging Face Transformers 라이브러리를 사용합니다. 필요한 패키지를 설치하기 위해 아래의 명령어를 터미널에 입력합니다. 

pip install transformers datasets torch

4. 커스텀 데이터셋 정의하기

NLP 모델을 학습시키기 위해서는 적절한 형식의 데이터셋이 필요합니다. 본 섹션에서는 커스텀 데이터셋을 정의하는 방법을 설명하겠습니다.

4.1 데이터셋 형식

데이터셋은 일반적으로 텍스트와 해당 레이블로 구성됩니다. 우리가 사용할 데이터셋은 CSV 형식으로 준비할 것입니다. 예를 들어, 다음과 같은 형식이어야 합니다. 


    text,label
    "이 영화는 정말 재미있었습니다.",1
    "별로였다.",0

4.2 데이터 로드하기

이제 커스텀 데이터셋을 로드하는 코드를 작성해보겠습니다. Hugging Face의 datasets 라이브러리를 사용하여 간편하게 로드할 수 있습니다. 


import pandas as pd
from datasets import Dataset

# CSV 파일에서 데이터 로드하기
data = pd.read_csv('custom_dataset.csv')
dataset = Dataset.from_pandas(data)

5. BERT 모델 구성 및 훈련

데이터셋이 준비되었으니 이제 BERT 모델을 구성하고 훈련시키는 단계로 넘어가겠습니다. Hugging Face의 Transformers 라이브러리를 사용하여 손쉽게 BERT 모델을 사용할 수 있습니다.

5.1 BERT 모델 불러오기

다음 코드는 BERT 모델과 토크나이저를 불러오는 방법을 보여줍니다. 


from transformers import BertTokenizer, BertForSequenceClassification

# 모델과 토크나이저 불러오기
model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertForSequenceClassification.from_pretrained(model_name, num_labels=2)

5.2 데이터 전처리

BERT 모델에 입력하기 전에 데이터 전처리를 수행해야 합니다. 일반적으로 입력 텍스트를 토크나이즈하고, 적절한 형태로 패딩 및 트렁크를 하기 위해 아래 코드를 사용할 수 있습니다. 


def preprocess_function(examples):
    return tokenizer(examples['text'], padding='max_length', truncation=True)

# 데이터 전처리 수행
tokenized_dataset = dataset.map(preprocess_function, batched=True)

5.3 모델 훈련

데이터 전처리가 끝났으니 이제 모델을 훈련시킬 준비가 되었습니다. trainer API를 사용하여 훈련 및 평가를 수행하겠습니다. 


from transformers import Trainer, TrainingArguments

# 훈련 인자 설정
training_args = TrainingArguments(
    output_dir='./results',
    evaluation_strategy='epoch',
    learning_rate=2e-5,
    per_device_train_batch_size=16,
    num_train_epochs=3,
)

# Trainer 객체 생성
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_dataset,
)

# 모델 훈련
trainer.train()

6. 앙상블 모델 구현

여러 개의 BERT 모델을 앙상블하여 성능을 향상시키는 과정입니다. 각 모델의 예측 결과를 결합하여 최종 예측을 도출합니다. 이를 위해 두 개 이상의 모델을 훈련시키고, 그 결과를 결합해봅시다.

6.1 여러 모델 훈련


# BERT 모델 두 개 훈련
model1 = BertForSequenceClassification.from_pretrained(model_name, num_labels=2)
model2 = BertForSequenceClassification.from_pretrained(model_name, num_labels=2)

# 각각 훈련 수행
trainer1 = Trainer(
    model=model1,
    args=training_args,
    train_dataset=tokenized_dataset,
)

trainer2 = Trainer(
    model=model2,
    args=training_args,
    train_dataset=tokenized_dataset,
)

trainer1.train()
trainer2.train()

6.2 앙상블 예측 수행하기

두 모델의 예측 결과를 평균하여 앙상블 예측 결과를 도출합니다. 


import numpy as np

# 예측 수행
preds1 = trainer1.predict(tokenized_dataset)['logits']
preds2 = trainer2.predict(tokenized_dataset)['logits']

# 앙상블 예측 수행
final_preds = (preds1 + preds2) / 2
final_predictions = np.argmax(final_preds, axis=1)

7. 결과 평가

모델의 성능을 평가하는 것은 중요하며, 우리는 정확도와 F1 점수를 사용하여 모델을 평가할 수 있습니다. 


from sklearn.metrics import accuracy_score, f1_score

# 라벨과 예측 결과를 비교하여 성능 평가
true_labels = tokenized_dataset['label']
accuracy = accuracy_score(true_labels, final_predictions)
f1 = f1_score(true_labels, final_predictions)

print(f'Accuracy: {accuracy}')
print(f'F1 Score: {f1}')

결론

이번 강좌에서는 허깅페이스의 Transformers 라이브러리를 활용하여 BERT 모델의 앙상블 학습을 수행하는 과정을 살펴보았습니다. 커스텀 데이터셋 정의, 모델 구성 및 훈련, 앙상블 기법에 대해 배우며 딥러닝 모델의 성능을 향상시키는 방법을 익혔습니다. 이 과정을 통해 독자 분들이 BERT 모델의 사용법과 앙상블 학습의 개념을 보다 깊게 이해할 수 있었기를 바랍니다.