LLM 세계에 뛰어든 CTO의 2023년 회고
2023/12/22 | 5 mins
LLM 2023년 월별 핫뉴스 총정리 리포트를 받아보세요!
이것만은 꼭 알고 가야하는 LLM 소식과 2024년 미래 동향을 한 번에 정리해드립니다.
(2024년 1월 15일 발송 예정입니다.)
올해는 저에게 COVID-19만큼의 충격과 혼란이 있던 해였습니다. ChatGPT로 대변되는 초거대 언어 모델(Large Language Model, LLM)이 올해 전 세계를 강타했기 때문인데요. ChatGPT가 주는 경험은 AI 업계 종사자 뿐만 아니라 일반 대중에게까지 퍼지면서 LLM에 대한 기대감과 우려를 동시에 불러일으켰습니다. 많은 기업들이 LLM을 도입하기 위해 막대한 예산을 편성하고 있고, OpenAI, Google, Meta 등의 빅테크 기업은 물론 Anthropic, Cohere 와 같은 스타트업들 역시 한 주가 멀다 하고 새로운 LLM 을 출시하는 데에 열을 올리고 있습니다. 이처럼 거대한 변화의 물결로 인해 저의 2023년 역시 LLM으로 가득 채워지게 되었습니다.
위기일까 기회일까
시장이 혼란스럽다는 것은 어떤 회사에는 위기가 될 수 있는 동시에 어떤 회사에는 기회가 될 수 있습니다. LLM 과 같이 새로운 시장을 여는 게임체인저가 등장했을 경우에는 더더욱 그렇습니다. 시장이 안정적으로 자리 잡지 못했기 때문에 너나 할 것 없이 많은 회사들이 다양한 형태의 전략을 가지고 시장에 진입하고, 그 중 극소수의 제품만이 살아 남는 사이클을 반복하게 됩니다. 과도기를 거쳐 살아 남은 제품들을 중심으로 제품 구획이 나누어지게 되고, 그렇게 시장은 안정화가 되어가게 됩니다.
정화된 시장에서 새로 시작한 작은 기업이 큰 기업들을 이기는 것은 이론상 불가능에 가깝습니다. 때문에 스타트업들이 기존의 대기업을 이기는 사건은 보통 새로운 산업이 태동하는 시기에 많이 발생합니다. 세상을 바꾸었던 빅테크 기업의 등장 시기를 돌이켜봐도 그렇습니다. 1975년 개인용 PC 시장이 처음 열리면서 Microsoft 가 등장했고, 1998년 인터넷이 급속도로 보급 되면서 새로운 산업이 등장하던 때에 래리 페이지가 Google 을 창업했습니다. 닷컴버블 이후 2004년 인터넷 시장이 회복되던 해에 Facebook이 등장했고, 그로부터 4년 후 아이폰3 가 세상에 공개 되면서 스마트폰과 함께 소셜미디어 산업이 폭발적으로 성장하게 되었습니다.
업스테이지와 같은 스타트업에는 지금과 같은 시장은 매우 좋은 기회라고 생각했습니다. 기존에 저희가 주력하던 사업이 있었지만, LLM 으로 인해 완전히 새로운 시장이 열렸고, 우리는 이 기회를 잡아야 한다고 생각했습니다. 한편 이런 기회가 오래 지속되지 않을 것이라는 생각도 했던 것 같습니다. 그래서 LLM TF를 구성해서 AI 분야의 ‘빌보드 차트’와 같은 세계 최대 오픈소스 AI 모델 플랫폼 허깅페이스(Hugging Face)의 Open LLM Leaderboard 에서 순위를 올려보자는 도전을 6월부터 하게 되었습니다.
허깅페이스 ‘Open LLM 리더보드’ 1위 달성
훌륭한 엔지니어들로 TF를 구성한 지 2달 만에 업스테이지의 30B 모델 (Meta의 LLaMa2 70B 매개변수 기반으로 파인튜닝한 모델)이 LLaMa2 70B 모델을 추월하고 국내 LLM 최초 1위 달성이라는 쾌거를 올리게 되었습니다. 모델 추론, 상식 능력, 언어 이해 종합 능력, 환각 현상 방지 분야 모두에서 점수를 올렸습니다. 훌륭한 캐글러 분들, 국제 학회에서 논문을 발표한 경험이 있으신 분들이 사내 리더보드를 만들어 팀원들 간에 선의의 경쟁을 하고 최신 연구 동향을 빠르게 나누며 끊임없이 논의하고, 다양한 시도를 빠른 시간 내에 다양하게 했기 때문에 가능한 일이었다고 생각합니다.
많은 분들께서 업스테이지는 Document AI(OCR), 추천과 같은 분야를 개발했었는데 갑자기 LLM을 어떻게 잘할 수 있는지 질문해 주셨었습니다. 과거 규칙 기반으로 알고리즘을 개발하던 시대에는 각 분야마다 특정한 규칙을 프로그래밍 하고, 이를 기반으로 인공지능 시스템을 개발했습니다. 딥러닝이 등장하면서, End-to-End 방식이 도입되고 학습 데이터만 잘 준비되면 동일한 모델 아키텍처로 이미지도 처리할 수 있고, 자연어도 처리할 수 있는 패러다임으로 접어들었죠. 대표적인 모델이 Transformer 입니다. 자연어처리도, 컴퓨터 비전 분야도 다 트랜스포머 기반으로 구현이 되고 다양한 task들을 처리하고 있습니다. 초거대 언어모델이 등장하면서는 각 모달들이 하나의 아키텍처로 처리하려는 움직임도 나오고 있습니다. 사실 그 이전에도 멀티모달 분야들이 많기는 했으나, 초거대 언어모델이 등장하면서 그러한 움직임은 더 가속화 되고 있습니다. 이러한 관점에서 AI 엔지니어들도 각 분야별을 고수하는 것이 아닌, 다양한 모달을 넘나들 수 있는 능력이 필수적으로 요구됩니다. 그리고 이러한 것이 가능하게 하는 것은 탄탄한 머신러닝에 대한 기초지식이 뒷받침되어야 하죠. 업스테이지에서는 탄탄한 기초 지식과 더불어 이를 잘 응용해 낼 수 있는 사람들이 많기에 가능했습니다.
실제 비즈니스 담당자들과 만나본 LLM
LLM에 대한 기술적인 궁금증도 많고 어떻게 해서든 발 빠르게 도입해야겠다고 생각한 분들의 많은 연락을 받고 있어서 감사하게 바쁜 요즘입니다. LLM이라는 기술에 대해 학계에서는 열심히 발전시키고 있지만 실제 비즈니스에서는 걱정의 목소리도 작지는 않습니다. 많은 분이 걱정하는 LLM 두 가지에 대해서 어떻게 극복하려고 노력하고 있는지 간단한 개념 설명과 함께 소개해 드리겠습니다. 첫 번째는 환각, 두 번째는 보안 문제 없이 통제 가능한 우리 회사만의 모델에 대한 것입니다.
첫째, 환각 완화를 위한 대표적인 시도로 검색 증강 생성(Retrieval Augment Generation, RAG)이라는 기법이 있습니다. RAG는 사용자가 요청한 업무를 수행할 때 근간이 되는 정보를 검색 기술로 확보를 한 후, 검색 결과 기반으로 답변을 생성해 내는 방법입니다. LLM과 검색 기술이 연동되는 방식은 Vector DB를 근간으로 하고 있는데요. 특정 분량의 텍스트 정보를 하나의 벡터로 만들어주는 임베딩 모델을 (Embedding Model) 활용하여 모든 정보를 지식화합니다. 이때, 텍스트 정보가 구조화되어 있을수록 RAG 성능이 좋은데 이를 위해서 오프라인의 문서를 텍스트로 바꿔주는 OCR 기술뿐만 아니라, 텍스트 정보를 구조화된 정보로 바꿔주는 Parsing 기술에 대한 수요가 늘어나고 있습니다. 업스테이지도 이 부분에 대해서 끊임없이 연구 개발하며 계속 성능을 올리고 있습니다.
둘째, 비즈니스 적용을 위한 small scale LLM을 만들어가고 있습니다. Private (Custom) LLM은 나만의 데이터로 학습시킨 LLM을 의미합니다. 현재 Private LLM은 기술의 접근성이나 학습, 추론 비용을 감안했을 때 최대 100B 이하의 파라미터 수를 갖는 모델들로 구현되고 있습니다. Private LLM은 통제 가능성, 데이터 보안, 비용 최적화 등의 강점을 가집니다. 과연 지식의 도메인이나 사용 방식을 한정했을 때 ChatGPT와 유사한 혹은 그 이상의 성능이 나오느냐가 Private LLM 중심의 사업에 있어서 가장 빠르게 검증이 되어야 하는 점입니다. Private LLM 사업 자체가 시작된지 얼마되지 않았기 때문에 비즈니스의 실 적용 사례는 아직 많지 않으며, 이는 비단 한국 만의 사정이 아니라 글로벌하게 동일한 상황입니다. 그래서 내년에 고객이 만족할 만한 사례가 Private LLM으로 나오느냐가 Private LLM 시장의 향후 행방을 결정할 것입니다.
올해 개인적으로 회사의 가장 큰 자산이라고 생각하는 점은 DocAI 프로젝트를 통해 B2B Enterprise AI 제품에 대한 전체 큰 사이클인 제품 개발, 제품 납품, 제품 유지보수 단계를 전부 성공적으로 경험해봤다는 점입니다. AI 모델로 Real-world의 문제를 풀어내는 것에는 보이지 않는 많은 장벽이 존재합니다. 이러한 과정을 End-to-end로 경험해 본 회사는 전 세계 AI 회사를 통틀어서도 일부일 것으로 생각합니다. 세계 최고 수준의 모델을 개발할 수 있는 역량과 더불어 이러한 모델을 이용하여 실제 고객의 문제를 풀어줄 수 있는 경험은 업스테이지가 앞으로 LLM관련한 B2B 서비스를 런칭하는 데에 있어서 큰 강점이 될 것으로 생각합니다.
2024년이 기대되는 이유 - LLM과 Document AI의 만남, 세계 속의 업스테이지
LLM 기술을 통해 새로운 기회들을 탐색하는 과정에서 Document AI 사업도 올해 내내 꾸준히 해나가고 있습니다. 아예 사업 계획을 LLM으로 바꾸는 것인지에 대한 질문도 종종 받았었는데요. 운이 좋게도 기존에 저희가 잘 해내고 있었던 Document AI와 LLM 기술이 함께 시너지를 내기에 굉장히 좋다는 사실도 알아냈습니다. 실제 비즈니스에서 활용할 수 있는 LLM을 만들 때 그 회사만의 데이터를 어떻게 잘 가공하는지가 LLM의 성능을 좌우한다고 해도 과언이 아닙니다. 위에서 RAG에 관한 이야기를 할 때 간략히 언급했듯이 업무 관련 문서들을 잘 구조화된 텍스트 정보로 지식화하는 것이 중요한데요, 문서 구조를 자동으로 인식해 주는 OCR 기술(Layout Analysis)도 함께 보유하고 있다는 점이 큰 시너지를 만들어내고 있습니다. Document AI 기술로 정보 인식/저장을 하고 LLM으로 그 정보를 다시 꺼내서 분석에 활용하는 것, 이 과정이 업무의 생산성을 높이고 비즈니스 가치를 높이는 데에 큰 기반이 될 것으로 생각합니다.
최근 SOLAR 10.7B 모델로 Huggingface Open LLM Leaderboard 1위를 다시 한번 달성하면서 Global 시장에서도 업스테이지의 인지도를 올리고 있습니다. 업스테이지의 기술력에 대한 글로벌에 대한 반응을 확인하기 위해 올 한 해 많은 학회, 이벤트에 참석하고 다양한 분들을 만나 뵈었습니다. 전 세계적으로 봐도 자체 LLM 모델을 학습하는 기업이 많지 않은 상황에서, SOLAR 가 좋은 성적을 거둔 것이 외부에서 업스테이지를 인지하는 데에도 큰 영향을 준 것을 느낄 수 있었습니다.
The Best Way to Predict the Future is to Create It!
Alan Kay가 말한 유명한 말로 올 한 해의 제 모토 같은 말입니다. 혼란해 보이는 미래 속에서 적당히 흔들리며 좋은 동료들과 미래를 만들어 나가고 있습니다. 글을 쓰고 나니 자랑한 것 같은 부분들도 있네요. 지금에서야 이렇게 이야기할 수 있지만 그 당시에는 솔직히 힘들고 불안했던 적도 많았습니다. 선택한 보기들이 전부 정답은 아니었다 하더라도 혼란한 앞날에 대해서 불안해 하느니 어떻게 미래를 만들어 나갈지 믿음을 가지려고 노력했습니다. 그리고 그 믿음에는 같이 일하는 분들에 대한 믿음이 가장 큰 역할을 했던 것 같습니다. 2023년에 겪었던 혼란과 부딪힘, 그로 인해 얻은 레슨런과 인사이트를 가지고 든든한 동료들과 함께할 미래가 기대됩니다. 내년에는 이러한 인사이트들을 더 많이, 자주 공유해 드리는 것도 2024년 목표 중 하나이니 많은 관심 부탁드립니다.
☀️ Solar LLM
[NEW] Upstage’s Solar 10.7B
Introducing a new 10.7B model that outperformed all competing models on the Open LLM Leaderboard.
