HuggingFace Pipeline 사용해보기

Hugging Face의 Transformers 라이브러리는 자연어 처리(NLP)를 간단하게 구현 할 수 있는 다양한 도구를 제공합니다. 이번 글에서는 Colab 환경에서 transformers` 라이브러리의 pipeline 기능을 사용하여 다양한 NLP 작업을 수행하는 방법을 소개 해보고자 합니다.

huggingface transformers pipelines

---

1. Pipeline 소개

pipeline은 Hugging Face 학습 시 가장 처음 보게 되는 인터페이스라고 할 수 있습니다. 텍스트 분류, 질문 답변, 텍스트 생성 등 여러 NLP 작업을 손쉽게 수행할 수 있어서, Hugging Face를 처음 시작한다면 pipeline 부터 시작하면 좋을 것 같습니다. 그래서 이번 실습에서는 pipeline에 대한 코드를 살펴보고, 각 코드의 내용에 대해서 말씀드리려고 합니다. 이 글이 다루는 내용은 아래와 같습니다.

- 감정 분석: 텍스트가 긍정적인지 부정적인지 판별
- 텍스트 생성: 주어진 프롬프트를 기반으로 새로운 텍스트 생성
- 질문 답변: 텍스트에서 질문에 대한 답을 찾기
- 번역: 텍스트를 다른 언어로 번역

- 요약: 주어진 문장을 요약하기

 

그 외에도 다양한 작업(task) 유형을 pipeline이 제공하고 있지만, 이번 글에서는 우선적으로 위 내용만 다뤄보도록 하겠습니다.

2. 준비 단계: 라이브러리 설치

Colab에서는 셸 명령어를 실행하여 필요한 라이브러리를 설치할 수 있습니다. 아래 코드를 실행하여 `transformers` 라이브러리를 설치합니다. 그런데 이 글을 작성하는 시점에 Colab 에 기본적으로 transformers가 설치되어 있는 경우도 있었던 것 같습니다. 만약, 설치가 이미 되어 있는 상태라면 아래 코드를 Colab 에서 실행하시면 이미 설치가 되어 있다는 로그가 나오게 될 것 입니다.

!pip install transformers

3. Pipeline을 사용한 NLP 작업

3.1 감정 분석
먼저, 감정 분석 작업을 수행해보겠습니다. "pipeline" 객체를 생성하고 "sentiment-analysis" 작업 유형을 지정합니다.

from transformers import pipeline

classifier = pipeline("sentiment-analysis")

# 단일 문장 분석
result = classifier("I've been waiting for a HuggingFace course my whole life.")
print(result)

# 여러 문장 분석
results = classifier([
    "I've been waiting for a HuggingFace course my whole life.",
    "I hate this so much!"
])
print(results)

출력은 예측된 감정(긍정/부정)과 신뢰도 점수를 포함합니다.

3.2 텍스트 생성
한국어를 지원하는 모델을 pipeline에 지정하면 한국어도 사용 가능합니다.

생성 예제는 한국어를 사용하는 모델을 사용해서 텍스트를 생성해 보겠습니다. 모델 파라미티로 "skt/kogpt2-base-v2" 모델을 적용해 보겠습니다. pipeline의 task를 "text-generation"으로 지정한 후에 pipeline 객체에 프롬프트를 입력하면, 입력된 프롬프트에 이어질 문장을 생성합니다.

from transformers import pipeline

generator = pipeline("text-generation", model='skt/kogpt2-base-v2')

# 간단한 텍스트 생성
result = generator("여러분 만나서 반갑습니다. 허깅페이스 강의를 시작", max_length=30, num_return_sequences=2)
print(result)

 

• max_length=30은 생성된 문장의 최대 길이를 30 토큰으로 제한 하는 역할을,
• num_return_sequences=2는 각 입력에 대해 2개의 다른 결과를 생성하도록 지정하는 역할을 합니다.

출력은 확률에 기반하기에 매번 조금식 달라질 수도 있지만, 아래와 같은 형식으로 결과가 나오게 됩니다.

[{'generated_text': '여러분 만나서 반갑습니다. 허깅페이스 강의를 시작하며...'},
 {'generated_text': '여러분 만나서 반갑습니다. 허깅페이스 강의를 준비했습니다.'}]

3.3 질문 답변
pipeline이 지원하는 기능 중에는 질문-답변 기능도 있습니다. 한국어 질문-답변을 위해 "klue/roberta-base" 모델을 사용하여 주어진 컨텍스트에서 질문에 대한 답을 추출해 보도록 하겠습니다.

from transformers import pipeline

qa_pipeline = pipeline("question-answering", model="klue/roberta-base")

context = """
루트비히 판 베토벤은 독일의 서양 고전 음악 작곡가이자 피아니스트이다. 독일의 본에서 태어났으며, 성인이 된 이후 거의 오스트리아 빈에서 살았다.
"""

result = qa_pipeline(
    question="베토벤이 태어난 곳은 어디인가요?",
    context=context
)
print(result)

 

pipeline 함수의 작업 유형으로 "question-answering"을 지정하고, klue/roberta-base라는 한국어 질문-답변에 특화된 모델을 사용합니다. context 변수에는 질문에 답하기 위한 문맥 정보를 작성하고, question에 해당하는 질문의 답변을 추출합니다. 결과는 모델이 예측한 답변과 그 신뢰도 점수로 반환됩니다.

{
  'score': 0.98,  # 모델의 예측 신뢰도
  'start': 47,    # 답변의 시작 위치 (context에서의 인덱스)
  'end': 49,      # 답변의 끝 위치 (context에서의 인덱스)
  'answer': '본'  # 모델이 예측한 답변
}

결과 값이 위와 동일하게 나오지는 않을 확률이 높지만 만약 잘 나온다면 위와 같은 형태의 답변이 나올 것 입니다. 

 

3.4 번역
한국어-영어 번역 모델을 사용하여 텍스트를 번역해보겠습니다. 

이 작업은 보시다싶이 굉장히 직관적 입니다. 'translation'으로 작업을 지정하고, 한국어-영어 번역이 가능한 모델을 지정하면 번역 작업이 가능 합니다.

from transformers import pipeline

translator = pipeline("translation", model="circulus/kobart-trans-ko-en-v2")
result = translator("오늘 점심으로 스테이크를 먹었습니다.")
print(result)

3.5 텍스트 요약
긴 텍스트를 요약하는 작업은 "summarization"을 pipeline에 파라미터로 넘겨주면 가능 합니다. 말 그대로 요약 기능으로 주어진 text를 요약한 정보를 제공해 줍니다.

from transformers import pipeline

summarizer = pipeline("summarization")

text = """
America has changed dramatically during recent years. Not only has the number of
graduates in traditional engineering disciplines such as mechanical, civil, electrical,
chemical, and aeronautical engineering declined, but in most of the premier American
universities engineering curricula now concentrate on and encourage largely the study
of engineering science.
"""

result = summarizer(text)
print(result)

---

4. 지원되는 작업 유형

`pipeline`은 그 외에도 다양한 작업을 지원합니다. HuggingFace의 pipeline이 기본적으로 지원하는 작업 유형은 아래의 코드로 확인 가능 합니다.

from transformers.pipelines import SUPPORTED_TASKS

print("Available tasks in Hugging Face pipeline:")
for task in SUPPORTED_TASKS:
    print(f"- {task}")

---

이 글에서는 Hugging Face의 `pipeline` 기능을 활용하여 Colab에서 다양한 NLP 작업을 수행하는 방법을 살펴보았습니다. `transformers` 라이브러리는 NLP 작업을 간단하게 수행할 수 있도록 도와줍니다. 계속해서 실습 코드를 통해 HuggingFace 라이브러리 사용법에 대해서 알아나가도록 하겠습니다.  😀