허깅페이스 트렌스포머 활용강좌, Mobile BERT 추론 시 마지막 은닉층

최근 몇 년간 자연어 처리(NLP) 분야에서 깊은 학습 기반의 모델들이 인기를 끌며 많은 발전을 거듭해왔습니다. 그중에서도 허깅페이스(Hugging Face)의 트랜스포머 모델들은 사용의 용이함과 성능 덕분에 인기를 끌고 있습니다. 특히 Mobile BERT는 경량화된 BERT 모델로서, 모바일 환경에서도 효과적으로 사용할 수 있도록 설계되었습니다. 이번 강좌에서는 Mobile BERT 모델을 활용하여 마지막 은닉층의 출력을 추출하는 방법을 소개하겠습니다.

1. Mobile BERT란?

Mobile BERT는 구글이 BERT의 경량 버전으로 출시한 모델입니다. BERT 모델은 두 가지 주요 구성 요소인 Encoder와 Decoder를 기반으로 하며, Mobile BERT는 이 중 Encoder를 경량화하여 다양한 모바일 기기에서도 사용할 수 있도록 최적화되었습니다. Mobile BERT는 4배 더 적은 파라미터를 가지고 있으며, 연산 효율을 높이기 위해 다양한 기법을 적용하였습니다.

2. 허깅페이스 라이브러리 설치

허깅페이스의 트랜스포머 모델을 사용하기 위해 먼저 필요한 라이브러리를 설치해야 합니다. 아래의 명령어를 사용하여 라이브러리를 설치할 수 있습니다.

pip install transformers torch

3. Mobile BERT 모델 불러오기

모델 설치가 완료되면 Mobile BERT 모델을 불러올 수 있습니다. 다음은 기본적인 코드입니다.

from transformers import MobileBertTokenizer, MobileBertModel

# Mobile BERT 모델과 토크나이저 불러오기
tokenizer = MobileBertTokenizer.from_pretrained('google/mobilebert-uncased')
model = MobileBertModel.from_pretrained('google/mobilebert-uncased')

4. 입력 데이터 전처리

Mobile BERT 모델에 입력할 데이터는 텍스트 형태로 제공되어야 하며, 토크나이저를 통해 적절한 형식으로 변환해야 합니다. 다음은 입력 문장을 전처리하는 방법입니다.

# 입력 문장 정의
input_text = "허깅페이스의 트랜스포머를 활용해보세요!"

# 문장 토큰화 및 인덱스 변환
inputs = tokenizer(input_text, return_tensors='pt')

5. 모델을 통한 추론

전처리가 완료된 데이터는 Mobile BERT 모델에 입력되어 마지막 은닉층 출력값을 가져올 수 있습니다. 모델의 forward 메서드를 이용하여 출력값을 계산할 수 있습니다.

with torch.no_grad():
    outputs = model(**inputs)

# 마지막 은닉층의 출력값은 outputs[0]에 저장됩니다.
last_hidden_states = outputs.last_hidden_state
print(last_hidden_states.shape)  # (배치크기, 시퀀스 길이, 은닉층 크기)

6. 결과 해석

마지막 은닉층의 출력값은 3차원 텐서로 반환됩니다. 텐서의 첫 번째 차원은 배치 크기, 두 번째 차원은 시퀀스 길이(문장의 단어 수), 세 번째 차원은 은닉층의 차원입니다. 예를 들어, 배치 크기가 1, 시퀀스 길이가 10, 은닉층 차원이 768인 경우, 출력값의 형태는 (1, 10, 768)입니다.

7. 응용 예시: 임베딩 벡터 추출

마지막 은닉층의 출력값은 각 단어의 임베딩 벡터로 활용될 수 있습니다. 이러한 벡터들을 사용하여 여러가지 자연어 처리 태스크에 활용할 수 있습니다.

# 첫 번째 단어의 임베딩 벡터 추출
word_embedding = last_hidden_states[0, 0, :]  # (768,)
print(word_embedding.shape)

8. 정리

이번 포스트에서는 허깅페이스의 트랜스포머 라이브러리를 사용하여 Mobile BERT 모델을 활용하는 방법을 알아보았습니다. 모델을 통해 입력 데이터 전처리, 추론 과정 및 마지막 은닉층의 시퀀스 출력을 얻는 방법을 소개하였습니다. 이러한 방법은 다양한 자연어 처리 응용에 활용될 수 있으며, 실제로 많은 연구 및 산업 분야에서 사용되고 있습니다.

9. 참고 자료

자세한 내용은 다음의 링크에서 확인하실 수 있습니다: