[테헤란로트렌드클럽] 30년 개발자가 말아주는 빅테크 LLM 전략 요약본
요즘 제일 핫한 키워드는 어딜 가나 AI입니다. 특히 스타트업 생태계에서는 창업, 취업, 투자부터 정책까지 전영역에서 다음 AI 트렌드는 무엇이고, 넥스트 오픈AI, 넥스트 SORA는 어디일지 주목하고 있는데요. 스타트업 업계가 꼭 알아야 할 AI 트렌드는 무엇인지 알려드리기 위해, 테헤란로트렌드클럽이 AI 특집을 준비했습니다. 많은 주제 중에서도 특히 생성형AI의 기반이 되는 LLM, 즉 대규모언어모델(Large Language Model)에 대해 알아보고 있는데요. 7월 첫번째 트렌드클럽에서는 LLM이 도대체 무엇인지, 글로벌 빅테크 기업들은 어떤 전략을 활용하고 있는지 알아봤습니다. 행사 런칭 첫날임에도 뜨거운 관심을 받았던 트렌드클럽 현장, 지금 요약해드립니다!
브런치 글 이미지 1
7월 25일, AI 특집 첫 번째 트렌드클럽에서는 생성형AI의 기본이 되는 LLM(Large Language Model, 대규모언어모델)은 무엇이고 글로벌 빅테크 기업들은 LLM 확보를 위해 어떤 전략을 사용하고 있는지 알아봤습니다. LLM에 대해 가장 잘 알려주실 수 있는 분, 바로 한국과 실리콘밸리를 오가며 30년간 Top 개발자로 활동해온 박종천 나인폴더스 AI 고문님을 연사로 모셨습니다.
(*지금은 넥스트인텔리전스 AI어드바이저로 소속과 직함이 바뀌셨습니다.)
브런치 글 이미지 2
여러분은 새로운 기술이 등장하는 것과 그 기술이 사람들에게 받아들여지는 것의 차이를 알고 계신가요? 사람들은 인터넷이, 그리고 모바일이 세상을 바꿨다고 말하지만 사실은 그렇지 않습니다. 인터넷의 기반이 되는 웹 기술이 등장하고 모바일의 기반이 되는 기술을 탑재한 아이폰이 나왔기 때문에 세상이 바뀐 거죠. 박종천 고문님은 AI 역시 마찬가지라고 이야기합니다. AI로 세상이 바뀌었다고 하지만 사실은 LLM이라는 기술이, 그리고 이를 뒷받침해주는 컴퓨팅파워가 실현 가능했기에 AI가 활용되기 시작한 것이죠. 그렇기 때문에 우리는 LLM이 무엇인지 알아야 AI를 이해할 수 있다는 말로, 박종천 고문님의 강의가 시작됐습니다.
박종천 고문님은 먼저 ML(Machine Learning, 머신러닝)과 LLM의 차이를 설명했습니다. ML은 말 그대로 기계가 데이터를 기반으로 학습해 특정한 작업을 수행하는 것인데요. 예를 들어 사람이 개와 고양이를 구분하려면 많은 개와 고양이를 봐야 하겠죠. 기계를 학습시키는 것 역시 마찬가지입니다. 많은 요소들 가운데 '귀가 뾰족하면 고양이, 귀가 둥글면 개'라는 규칙을 기계에게 학습시키는 것이 머신러닝입니다(참고로 이 학습규칙1개가 연산량을 이야기할 때 나오는 파라미터입니다). 그런데 미리 만들어놓은 규칙 안에서만 학습한다면 그 규칙이 많아질수록, 그리고 새로운 규칙이 나올수록 학습이 어려워지겠죠. 이 때 등장하는 것이 LLM입니다. 개와 고양이를 구분하는 방법으로 똑같이 말하자면, 수많은 개와 고양이 사진을 주고 '알아서 판별'하게 하는 것입니다. 이전에도 상당한 데이터와 컴퓨팅파워가 필요했지만 이제는 클라우드에만 조 단위의 비용이 들 정도로 큰 데이터와 컴퓨팅 파워가 필요합니다.
ML로 할 수 있는 대표적인 서비스가 개인화 추천과 시계열 예측입니다. 구매자가 산 물건이나 앞선 사건들을 바탕으로 그 다음에 살 물건, 다음에 일어날 사건을 예측하는 것이죠. 그런데 ML을 활용했을 때 예상한 만큼의 성과가 나오지 않는 경우가 많습니다. 박종천 고문님은 그 이유를 기업이 ML을 활용하기 위한 조건 세 가지와 연결해 설명했는데요. 개인화 추천을 예로 들면, 1)구매 기록이 잘 정리되어 있지 않으면 추천엔진이 잘 돌아가지 않고(Effective ML), 2)컴퓨팅 파워를 많이 쓰기 때문에 비싸고(Economic ML), 3)사람들의 구매 패턴이 바뀌면 이를 반영해 개선되어야 합니다(Operational ML(Continuously Improving)). 이러한 조건을 해결할 수 있는 것이 바로 LLM입니다. ML에 비해 효과적이고, 비용효율적이고, 개선이 용이합니다.
오픈AI가 만든 GPT라는 엔진, 너무나 유명하죠. GPT는 Generative Pre-trained Transformer의 약자입니다. 미리 학습이 완료된 엔진인 거죠. 대표적인 LLM 기반 엔진인 GPT에서는 어떻게 학습과 추론이 이루어질까요? 개인화 추천을 다시 예로 들어보겠습니다. 어떤 사용자 A가 z를 사고 y를 산 뒤 x를 샀다고 가정했을 때 z를 사고 y를 산 사용자 B는 다음에 무엇을 구매할까요? 아마도 X라고 대답할 수 있겠죠. 그러나 사용자 C가 y를 사고 z를 샀다면? 이 경우에도 우리는 사용자 C가 x를 살 것이라고 예측할 수 있을까요? 데이터가 방대해지면 더 복잡해집니다. 사용자 A가 z를 사고 y를 사고 x를 산 뒤 w를 산 반면, 사용자 B는 z를 사고 y를 사고 x를 산 뒤 v를 샀다고 가정하면, z를 사고 y를 산 사용자 C는 다음에 무엇을 구매할까요? x를 산 뒤 w를 살 수도 있겠고, x를 산 뒤 v를 살 수도 있겠죠. 확률적으로 두 가지 경우의 수가 있었기 때문에 예측할 때도 확률 엔진 형태가 된 겁니다. 다시 말해 LLM 역시, 추천엔진처럼 먼저 데이터를 주고 뒤를 예측해보라고 하는 것인데, 많은 데이터를 기반으로 확률적으로 응답하게 하는 것입니다. 이것이 아주 중요한 포인트인데, 우리는 chatGPT와 대화를 하고 있다고 생각하지만 사실은 인터넷에 있는 방대한 데이터를 바탕으로 학습한 엔진이 확률적으로 예측해 적당한 문장을 완성시킨 결과를 내놓은 것입니다.
이쯤 되면 그런 생각이 드실 겁니다. 그러면 도대체 LLM이 정확한, 혹은 내가 원하는 대답을 하게 하려면 어떻게 해야할까요? 다시 학습과정으로 돌아가, "I was hugry, so I went to eat"라는 문장을 학습시켰다고 가정해봅시다. 그 뒤에 "I went ?"라는 문장을 완성시켜보라고 하면 "to eat"이라고 말하겠죠. 하지만 "I was sleepy, so I went ?"라는 문장을 완성하라고 한다면요? 더 나아가 "There was a comfortable sofa. I was sleepy, so I went ?"를 완성하라고 한다면요? 무슨 이야기나면, 앞선 문장에서 더 많은 정보를 줄 수록 더 정확한 대답을 한다는 것입니다.
LLM은 전세계 인터넷을 기반으로 대규모의 언어 데이터를 학습했기 때문에 "아프리카에 나라가 몇 개 있어?"라는 질문에는 대답할 수 있습니다. 그러나 "우리 회사의 다음달 매출은 어떻게 될까?"라는 질문에는 바로 대답할 수 없거나, 거짓된 대답을 할 가능성이 높습니다. 우리 회사에 신입사원을 채용했다고 생각하면 더 쉽습니다. 명문대 출신의 아주 똑똑한 신입사원을 채용해 오늘 첫 출근했다고 가정하면 아프리카에 나라가 몇 개 있는지는 대답할 수도 있을 겁니다(!). 그러나 그 신입사원은 "점심에 뭘 먹을까?"라는 질문에는 답할 수 없겠죠. 우리 회사 근처에 짜장면집은 어디 있는지, 김치찌개집은 어디 있는지, 지난 석 달 동안 팀원들이 무엇을 먹었고, 누가 어떤 것을 좋아하고 싫어했는지는 알 수 없으니까요. 하지만 이 신입사원에게 여러 단계를 거쳐 일을 시킨다고 생각해보세요. (1)주변 식당을 리스트업해봐, (2)지난 석 달 동안 팀원들이 무엇을 먹었는지 알아봐, (3)누가 어떤 것을 좋아하고 싫어했는지도 분석해봐. 그 다음에는 "점심에 뭘 먹을까?"라는 질문에 대답할 수 있을 것입니다(*참고: 이 과정을 잘 만드는 것이 3회차(9.26.)에 알아볼 프롬프트엔지니어링(Prompt Engineering)입니다).
"결국 사람한테 하듯 차근차근 설명해주어야 LLM도 일을 잘합니다!"
