안녕하세요.
오늘은 Amazon 제품 가격 예측 봇 개발의 두 번째 시간입니다.
이번 세션에서는 LLM 모델을 파인튜닝하기 전에, 기준이 되는 Baseline 모델을 구축하고 평가하도록 하겠습니다.
먼저, 이번 시간에 사용할 라이브러리를 로드합니다.
Baseline 모델 구축에 필요한 Scikit-learn 라이브러리와 Gensim 라이브러리를 새롭게 추가했습니다.
import os
import json
import matplotlib.pyplot as plt
import pickle
# More imports for our traditional machine learning
import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.preprocessing import StandardScaler
from sklearn.svm import LinearSVR
from sklearn.ensemble import RandomForestRegressor
# And more imports for our NLP related machine learning
from sklearn.feature_extraction.text import CountVectorizer
from gensim.models import Word2Vec
from gensim.utils import simple_preprocess
# Constants - used for printing to stdout in color
GREEN = "\\033[92m"
YELLOW = "\\033[93m"
RED = "\\033[91m"
RESET = "\\033[0m"
COLOR_MAP = {"red":RED, "orange": YELLOW, "green": GREEN}
%matplotlib inline
Baseline 모델 구축을 위해 이전 시간에 전처리 한 제품 데이터를 로드합니다.