Why is the Fine-Tuning LLMs important?

Walk you through

• Fine-Tuning은 딥러닝 모델의 초기 세팅을 활용하여 특정 작업에 맞게 모델을 조정하는 방법 중 하나로, 이를 처음 제시한 연구나 논문은 따로 없습니다. 기존의 전이학습(Transfer Learning)에 근거하고 있습니다.

  • NLP (자연어 처리) 분야에서 Fine-Tuning은 특히 BERT와 같은 대규모 언어 모델의 등장으로 주목
  • 대량의 텍스트 데이터로 사전 학습된 BERT와 같은 모델은 Fine-Tuning을 통해 다양한 NLP 작업에 적용. (그 외 등장해왔던 사전학습 모델 : ELMO, AlBERT, GPT-1, GPT-2, Roberta, GPT-3, Bart, T5)

• 사전학습된 LLM 등장 이후 더 좋은 출력을 얻기 위해 Prompt Engineering 이라는 개념이 소개

  <aside> 💡 Prompt Engineering

  • Context-Window에 몇 개의 example을 던져줌으로써 더 나은 생성을 할 수 있도록 유도하는 방법. (ex. Zero-shot, One-shot, Few-shot Inference)
  • 하지만, 이 전략이 항상 통하는 것은 아니었다?!
    • 작은모델에는 이 전략이 통하지 않을 수 있음. (연구자들은 5~6개 정도를 권장)
    • Context-window 양에 한계가 존재하기 때문에 무한정 많은 예제를 제공할 수 없다는 문제.
  • 바로 이 문제를 해결할 수 있는 방법이 ‘Fine-Tuning’ 이다. </aside>

Introduce Fine-Tuning

• 레이블이 지정된 데이터셋을 사용해서 LLM의 Weights을 Supervised Learning으로 학습하는 방법
  • 다양한 Task, 내가 원하는 특정 도메인에 대해 좀 더 좋은 성능을 내고 싶다?! → Fine-Tuning을 진행하면 된다.

So, What’s the benefit of Fine-Tuning?

• Task-Specific 성능 향상
• 데이터 효율성
• 시간 및 컴퓨팅 리소스 절약
• 일반화 능력
• 효율적인 실험 진행
• 다양한 응용

여기까지 Fine-Tuning에 대해 간략히 알아보았습니다.

그렇다면, Fine-Tuning 중에서도 효율적인 파라미터 튜닝이라고 알려져있는 ‘PEFT(Parameter Efficient Fine-Tuning)’는 무엇이고 왜 등장하게 되었을까요?

How PEFT came about and why it’s important!

The need for PEFT