허깅페이스 트렌스포머 활용강좌, 모더나 COVID-19 위키피디아 텍스트 가져오기

딥러닝과 자연어 처리(Natural Language Processing, NLP)의 발전에 따라, 텍스트 데이터를 처리하고 분석하는 방법이 다양해졌습니다. 이번 포스팅에서는 허깅페이스(Hugging Face) 라이브러리를 활용하여 모더나(Moderna)와 관련된 COVID-19 정보를 위키피디아에서 가져오는 방법에 대해 자세히 설명하겠습니다. 허깅페이스 트랜스포머(Transformers)는 자연어 처리 작업에서 많이 사용되는 사전 학습된 모델들을 제공하며, 이를 통해 사용자는 손쉽게 텍스트 데이터를 분석할 수 있습니다.

1. 허깅페이스란?

허깅페이스는 NLP 모델을 쉽게 사용할 수 있도록 다양한 사전 학습된 모델과 툴을 제공하는 플랫폼입니다. 특히 Transformers 라이브러리는 BERT, GPT-2, T5 등 다양한 최신 트랜스포머 모델들을 포함하고 있으며, 이러한 모델을 활용하여 자연어 처리 작업을 보다 용이하게 수행할 수 있습니다.

1.1 허깅페이스의 주요 특징

사전 학습된 모델 제공: 여러 NLP 작업을 위해 사전 학습된 모델을 사용할 수 있습니다.
모델의 손쉬운 활용: 복잡한 코드를 작성하지 않고도 간단히 모델을 사용할 수 있습니다.
대규모 커뮤니티: 사용자가 만든 모델과 데이터셋이 공유되어 다양한 옵션을 선택할 수 있습니다.

2. 설치 및 환경 설정

허깅페이스 라이브러리를 사용하기 위해 Python 환경을 설정해야 합니다. 아래의 명령어로 필수 라이브러리를 설치할 수 있습니다.

pip install transformers wikipedia-api

3. 위키피디아에서 정보 가져오기

위키피디아에서 모더나와 COVID-19에 관련된 정보를 가져오기 위해 wikipedia-api를 사용하겠습니다. 이 라이브러리는 위키피디아 페이지를 쉽게 검색하고 콘텐츠를 가져오는 기능을 제공합니다.

3.1 위키피디아 데이터 가져오기 예제

아래 코드는 모더나와 COVID-19에 대한 정보를 검색하고, 그 내용을 출력하는 간단한 예제입니다.

import wikipediaapi

    # 위키피디아 API 초기화
    wiki_wiki = wikipediaapi.Wikipedia('ko')

    # "모더나" 페이지 가져오기
    page = wiki_wiki.page("모더나")

    # 페이지 내용 출력
    if page.exists():
        print("제목: ", page.title)
        print("내용 요약: ", page.summary[0:1000])  # 첫 1000자 출력
    else:
        print("페이지가 존재하지 않습니다.")

위 코드를 실행하면 모더나의 위키피디아 페이지에서 내용을 가져올 수 있습니다. 이제 COVID-19와 관련된 정보를 추가로 확인해보겠습니다.

3.2 COVID-19 관련 정보 가져오기

마찬가지로 COVID-19에 대한 정보를 위키피디아에서 가져오는 코드는 다음과 같습니다.

# "COVID-19" 페이지 가져오기
    covid_page = wiki_wiki.page("COVID-19")

    # 페이지 내용 출력
    if covid_page.exists():
        print("제목: ", covid_page.title)
        print("내용 요약: ", covid_page.summary[0:1000])  # 첫 1000자 출력
    else:
        print("페이지가 존재하지 않습니다.")

4. 텍스트 전처리

가져온 위키피디아 텍스트는 모델에 입력하기 전에 전처리 과정을 거쳐야 합니다. 이 과정에서는 불필요한 문자나 기호를 제거하고, 필요한 정보를 정리하는 작업이 포함됩니다.

4.1 전처리 과정

아래의 코드는 가져온 텍스트에서 불필요한 문자를 제거하고 리스트 형태로 정리하는 방법을 보여줍니다.

import re

    def preprocess_text(text):
        # 특수문자 제거
        text = re.sub(r'[^가-힣a-zA-Z0-9\s]', '', text)
        # 여러 공백을 하나로
        text = re.sub(r'\s+', ' ', text)
        return text.strip()

    # 전처리 예제
    processed_text_moderna = preprocess_text(page.summary)
    processed_text_covid = preprocess_text(covid_page.summary)

    print("전처리된 모더나 텍스트: ", processed_text_moderna)
    print("전처리된 COVID-19 텍스트: ", processed_text_covid)

5. 허깅페이스 트랜스포머로 정보 분석하기

가져온 데이터를 분석하기 위해 허깅페이스 트랜스포머를 사용할 수 있습니다. 여기서는 전처리된 텍스트를 BERT 모델에 입력하여 특징을 추출하는 방법을 살펴보겠습니다.

5.1 BERT 모델 사용하기

허깅페이스의 BERT 모델을 사용하여 전처리된 텍스트의 특징을 추출해보겠습니다. 아래의 코드를 참고하세요.

from transformers import BertTokenizer, BertModel
    import torch

    # BERT 모델과 토크나이저 로드
    model_name = 'bert-base-multilingual-cased'
    tokenizer = BertTokenizer.from_pretrained(model_name)
    model = BertModel.from_pretrained(model_name)

    # 텍스트 토큰화 및 텐서로 변환
    inputs = tokenizer(processed_text_moderna, return_tensors='pt', padding=True, truncation=True)

    # 모델에 입력하고 특징 추출
    with torch.no_grad():
        outputs = model(**inputs)
    
    # 특징 벡터
    embeddings = outputs.last_hidden_state
    print("임베딩 크기: ", embeddings.shape)

6. 실습 예제: COVID-19 관련 문서 요약하기

이제 COVID-19 정보를 바탕으로 문서 요약을 해보겠습니다. 허깅페이스 라이브러리의 GPT-2 모델을 사용하여 요약을 생성할 수 있습니다.

6.1 GPT-2 모델로 요약하기

from transformers import GPT2Tokenizer, GPT2LMHeadModel

    # GPT-2 모델과 토크나이저 로드
    gpt2_model = GPT2LMHeadModel.from_pretrained('gpt2')
    gpt2_tokenizer = GPT2Tokenizer.from_pretrained('gpt2')

    # 요약을 위한 텍스트 입력
    input_text = "COVID-19는 SARS-CoV-2에 의해 발생하며..."
    input_ids = gpt2_tokenizer.encode(input_text, return_tensors='pt')

    # 요약 생성
    summary_ids = gpt2_model.generate(input_ids, max_length=50, num_beams=5, early_stopping=True)
    summary = gpt2_tokenizer.decode(summary_ids[0], skip_special_tokens=True)

    print("생성된 요약: ", summary)

결론

이번 포스팅에서는 허깅페이스 트랜스포머를 활용하여 위키피디아에서 모더나와 COVID-19에 관련된 정보를 가져오고, 이를 전처리 및 분석하는 과정을 살펴보았습니다. 허깅페이스는 최신 자연어 처리 모델을 쉽게 이용할 수 있는 훌륭한 도구이며, 이를 통해 텍스트 데이터를 보다 효과적으로 활용할 수 있습니다. 앞으로도 다양한 NLP 작업을 통해 데이터 분석 기술을 한층 더 발전시킬 수 있을 것입니다.

또한, 허깅페이스는 커뮤니티와의 협업을 통해 새로운 모델과 데이터셋이 계속해서 업데이트되고 있으므로, 지속적인 학습과 활용을 권장합니다. 앞으로 여러분이 다양한 NLP 작업에 도전하여 더 큰 성과를 얻기를 바랍니다.