허깅페이스 트렌스포머 활용강좌, DistilBERT 로딩 MLM 파이프라인

2023년 10월 1일 | 딥러닝

1. 서론

최근 자연어 처리 분야에서 텍스트 데이터의 중요성이 점점 커짐에 따라, 다양한 딥러닝 모델이 개발되고 있습니다. 그중에서도 허깅페이스(Hugging Face)의 트랜스포머(Transformers) 라이브러리는 여러 가지 NLP 태스크에서 활용되는 유명한 라이브러리입니다. 본 강좌에서는 DistilBERT 모델을 활용하여 마스크드 언어 모델링(Masking Language Modeling, MLM) 파이프라인을 구축하는 방법에 대해 discuss하겠습니다.

2. 허깅페이스 트랜스포머 소개

허깅페이스 트랜스포머 라이브러리는 BERT, GPT-2, T5와 같이 다양한 전이 학습 모델을 제공하며, NLP 관련 태스크에 대한 고성능의 처리 능력을 보여줍니다. 이 라이브러리는 쉽게 모델을 로딩하고 사용할 수 있게 돕는 API를 제공합니다.

간편한 API: 모델과 토크나이저를 손쉽게 로드할 수 있습니다.
다양한 모델: BERT, GPT, T5 등 다양한 최신 모델을 사용할 수 있습니다.
커뮤니티의 지원: 활성화된 커뮤니티와 지속적인 업데이트가 이루어지고 있습니다.

3. DistilBERT란?

DistilBERT는 BERT 모델의 경량화 모델로, 원래의 BERT보다 60% 더 빠르고 40% 더 적은 파라미터를 가진 모델입니다. 그럼에도 불구하고 비슷한 성능을 유지하면서 실무에서 더욱 유용하게 사용될 수 있습니다.

이 모델은 여러 NLP 태스크에서 성공적으로 사용되고 있으며, 특히 문맥 이해와 관련된 작업에서 우수한 성능을 보입니다.

4. MLM(Masked Language Modeling) 파이프라인 이해하기

MLM은 모르는 단어를 문맥에서 예측하는 방법입니다. 예를 들어, “나는 [MASK]를 좋아합니다.”와 같이 `[MASK]`로 표시된 부분에 들어갈 단어를 예측하는 것입니다. 이러한 기법은 BERT와 그 파생 모델들이 훈련되는 방식 중 하나입니다.

MLM의 주요 이점은 모델이 언어의 다양한 패턴을 학습할 수 있도록 돕는 것이며, 이는 자연어 이해의 성능을 향상시키는 데 도움을 줍니다.

5. DistilBERT 모델 로딩하기

이제 DistilBERT 모델을 로딩하고 간단한 MLM 파이프라인을 구축해보겠습니다. 먼저 필요한 라이브러리를 설치하겠습니다.

                pip install transformers torch

5.1 DistilBERT 모델과 토크나이저 로딩하기

허깅페이스 트랜스포머 라이브러리를 이용해 DistilBERT 모델과 토크나이저를 로딩합니다. 이를 위해 다음과 같은 코드를 사용할 수 있습니다.

                
from transformers import DistilBertTokenizer, DistilBertForMaskedLM
import torch

# DistilBERT 토크나이저와 모델 로딩
tokenizer = DistilBertTokenizer.from_pretrained('distilbert-base-uncased')
model = DistilBertForMaskedLM.from_pretrained('distilbert-base-uncased')

이 코드는 DistilBERT 모델과 그에 상응하는 토크나이저를 로드합니다. 토크나이저는 텍스트를 인덱스 형태로 변환하는 역할을 합니다.

6. MLM 파이프라인 구현하기

이제 MLM을 예시로 구현해보겠습니다. 우선 입력 문장을 준비하고, `[MASK]` 토큰을 추가한 뒤, 모델 예측을 해보도록 하겠습니다.

                
# 입력 문장
input_text = "나는 [MASK]를 좋아합니다."

# 토큰화
input_ids = tokenizer.encode(input_text, return_tensors='pt')

# 예측
with torch.no_grad():
    outputs = model(input_ids)
    predictions = outputs.logits

# 예측된 토큰의 인덱스
masked_index = torch.where(input_ids == tokenizer.mask_token_id)[1]
predicted_index = predictions[0, masked_index].argmax(dim=-1)

# 예측된 단어
predicted_token = tokenizer.decode(predicted_index)
print(f"예측된 단어: {predicted_token}")

위 코드는 입력 문장을 토큰화하고 모델을 통해 예측한 결과를 출력합니다. 최종적으로 예측된 단어를 출력하여 확인할 수 있습니다.

7. 결과 분석하기

위의 예제에서 사용된 문장 “나는 [MASK]를 좋아합니다.”의 경우, 모델은 가장 적합한 단어를 `{predicted_token}` 형태로 출력합니다. 예를 들어 “나는 사과를 좋아합니다.”와 같은 출력이 예상됩니다.

이러한 결과를 바탕으로 모델의 성능을 평가하거나, 실제 데이터에서 어떻게 활용할 수 있을지 고민해볼 수 있습니다.

8. 결론

이번 강좌에서는 허깅페이스 트랜스포머 라이브러리의 DistilBERT 모델을 활용하여 MLM 파이프라인을 구현하는 과정을 살펴보았습니다. 이러한 방법은 자연어 처리 분야에서 필요한 다양한 데이터 전처리 및 모델 적용 기술을 습득하는 데 큰 도움이 될 것입니다.

앞으로도 다양한 모델과 태스크에 대한 학습을 계속 이어가시길 바랍니다. 감사합니다!