업스테이지, 사전학습 LLM Solar 공개… 글로벌LLM 대전 본격 참전
2023/12/14업스테이지 LLM ‘Solar’ 공개, 발표와 함께 ‘허깅페이스 오픈 LLM 리더보드’에서 세계 1위 등극
세계 최초 10.7B 매개변수로 구성된 소형 모델로 글로벌 톱 생성 AI 모델 등극
추가학습 가능한 사전학습 모델과 실사용성 높은 파인튜닝 모델 모두 공개… SLM 생태계 확장 견인
업스테이지, AWS, Poe 등 글로벌 플랫폼 협력으로 최고 기술력 바탕 글로벌 생성AI 시장 본격 진출
(업스테이지=2023/12/14) 국내 대표 AI 스타트업 업스테이지(대표 김성훈)가 자체 개발한 사전학습 LLM(Large Language Model) ‘Solar’(이하 ‘솔라’)를 공개하며 글로벌 LLM 대전에 본격적으로 참전한다.
업스테이지는 14일 세계 최대 머신러닝 플랫폼 허깅페이스에서 운영하는 ‘오픈 LLM 리더보드’에서 세계 1위를 차지한 사전학습 LLM 솔라를 공개했다고 밝혔다. 이번 결과는 소형 LLM(SLM)의 기준이라고 할 수 있는 300억 매개변수(30B) 이하 사이즈로 글로벌 최고 성능 모델에 올라 더욱 의미가 깊다.
업스테이지 솔라는 ‘Specialized and Optimized Llm and Applications with Reliability’의 약자로, 업스테이지는 지난 8월, 오픈 LLM 역사상 최초로 GPT-3.5의 벤치마크 점수를 뛰어넘어 주목을 받은 자사의 허깅페이스 1위 모델을 시작으로 솔라 모델을 개발했다.
허깅페이스 오픈 LLM 리더보드는 오픈소스 생성 AI 모델의 바로미터로 꼽힌다. 전 세계 500여개의 오픈 모델들이 추론과 상식 능력, 언어 이해 종합능력 및 환각현상(할루시네이션) 방지, 대명사 참조 및 수학 해결 능력 등 6가지 지표의 평균 점수로 경쟁, 공신력 있는 순위가 매겨진다.
업스테이지의 ‘솔라’는 기업들이 활용하기 좋은 프라이빗 LLM을 위해 작은 크기로 구성된 사전학습 모델로, 세계 최초의 107억 매개변수(10.7B) 모델이다. 업스테이지는 고도의 지능과 컴팩트함이라는 완벽한 균형을 찾은 모델이라고 평가했다. 업스테이지 솔라는 리더보드 평가에서 74.2점을 기록하며 전체 1위를 차지하는 기염을 토했다. 이로서 업스테이지의 솔라는 알리바바의 최신 모델인 큐원(Qwen)의 6분의 1도 안되는 크기로 이를 훌쩍 뛰어넘는 성능을 증명했다.
업스테이지는 다양한 연구를 통해 작은 사이즈의 솔라 모델 성능을 최적화했다. 업스테이지는 성능이 좋지만 큰 13B 모델과 충분히 작지만 지적 제약이 있는 7B 모델 사이의 장점을 모두 잡는 최적의 모델 크기를 찾기 위해 오픈소스의 7B 모델들을 기반으로 자체적인 Depth Up-Scaling 방식을 적용, 레이어를 추가하며 깊이를 더해 소형 모델의 성능을 극대화했다. 그 결과 업스테이지는 3조 개가 넘는 토큰의 우수한 데이터를 통해 확장된 10.7B를 완성, 크기와 성능의 최적의 조합으로 모델을 구축했다고 밝혔다.
또한, 업스테이지의 솔라 모델은 사전 학습 및 파인튜닝 단계에서는 리더보드 벤치마킹 데이터 셋을 사용하지 않고, 자체적으로 구축한 데이터를 적용했다. 이는 리더보드 점수를 높이기 위해 벤치마크 셋을 직접 적용하는 모델들의 사례와 달리 솔라는 다양한 태스크의 실제 업무 활용 등 일반적인 경우 높은 사용성을 보여줄 수 있음을 반증한다.
특히 최근 20억 달러의 기업 가치로 유니콘에 오른 미스트랄AI의 최신 모델 믹스트랄(Mixtral 8x7B) 모델의 성능지표마저 뛰어넘어 글로벌 무대의 이목도 집중시켰다. 믹스트랄은 작은 전문 모델 여러 개를 묶는 방식으로 소형 모델임에도 메타 ‘라마’와 GPT-3.5를 능가해 최근 가장 뜨거운 관심을 받고 있는 모델이다. 믹스트랄은 70억 파라미터의 전문 모델 8개를 묶어 사전학습 모델 중 최고의 성능을 보인 바 있지만, 업스테이지의 솔라는 고도의 모델링 노하우와 최적화 기술력으로 믹스트랄 모델보다 더 가벼운 크기에도 불구하고, 벤치마크 평가에서 더 나은 성능을 보였다.
이번 솔라 모델은 사전학습 모델까지 상업적 활용까지 가능하게 공개해 오픈 LLM 생태계의 관심을 모은다. 업스테이지는 실사용성 높은 파인튜닝 모델은 물론 자체 추가 학습이 가능한 사전학습 모델까지 모두 공개했다. 특히 모델의 성능을 자체적으로 끌어올리는데 사용할 수 있는 사전학습 모델 역시 파인튜닝 모델과 함께 공개된 업스테이지의 솔라 모델이 허깅페이스 리더보드 평가 기준 66.04점으로 소형 모델의 대표 주자인 알리바바의 큐원(Qwen), 메타의 라마2(Llama 2), 미스트랄AI의 미스트랄(Mistral) 사전학습 모델들을 모두 제치고 1위에 올랐다.
이를 통해 기업들은 업스테이지의 솔라 모델을 기반으로 자신들의 데이터와 목적에 맞게 추가 학습하고, 다양한 생성 AI 서비스를 구축하고 운영할 수 있게 돼, 더 큰 관심을 모은다.
업스테이지는 AWS, Poe, Together.ai 등 글로벌 플랫폼과의 협력을 통해 최고 기술력을 바탕으로 글로벌 생성 AI 시장에 본격적으로 진출할 계획이다. 업스테이지는 최근 ‘AWS 리인벤트 2023’ 행사에 참석, AWS의 클라우드 서비스와 AI 플랫폼을 활용해 자체 개발한 LLM을 구축하고 운영하는 과정과 성과에 대해 설명하며 AWS와의 협력을 밝힌 바 있다.
뿐만 아니라 업스테이지는 글로벌 생성 AI 활용 플랫폼 Poe에 메인 모델로 등록되어 있는 솔라 모델을 업데이트해 대중들이 최고 성능의 업스테이지 LLM을 직접 경험해 볼 수 있도록 할 예정이다. Poe는 쿼라가 운영하는 플랫폼으로, 다양한 AI 모델과 대화하고 원하는 프롬프트를 입력해 나만의 챗봇을 만들 수 있다.
업스테이지는 이번 모델 개발에 앞서 국내 최초 수학 GPT와 이커머스 프라이빗 LLM을 구축하는 등 다양한 분야에서 모델 구축의 노하우를 축적한 바 있다. 업스테이지는 콴다, KT와 함께 세계 최고의 수학 GPT를 구축, 생성형 AI가 약한 추론 영역까지 LLM의역량을 확장하고 있다. 또한 커넥트웨이브와 이커머스 업계 최초로 프라이빗 LLM을 구축하며 다양한 산업군의 니즈를 충족시키며 프라이빗 LLM 시장의 강자로 자리 잡고 있다.
업스테이지의 김성훈 대표는 “세계 AI회사들을 압도하는 모델을 공개하게 되어 기쁘고 업스테이지 솔라가 모두를 위한 모델이 되기를 희망한다” 며 “KT의 전략투자를 통한 지원이 큰 도움이 되었고 앞으로 지속적으로 더 큰 격차를 벌릴 수 있는 최고 성능의 솔라 모델을 활용, B2B 시장에서의 협력도 추진할 것”이라고 밝혔다.
※ 사진 설명 : 국내 대표 AI 스타트업 업스테이지(대표 김성훈)가 자체 개발한 사전학습 LLM(Large Language Model) ‘솔라’를 공개하며 글로벌 LLM 대전에 본격적으로 참전한다. 사진은 허깅페이스 오픈 LLM 리더보드 순위에서 업스테이지의 모델이 1위를 차지한 모습.
-
김근교 | 브랜드 커뮤니케이션 총괄이사 | keunkyo@upstage.ai
배성범 | 브랜드 커뮤니케이션 매니저 | sungbae@upstage.ai보도자료 다운받기
-
업스테이지는 2020년 10월에 설립된 국내 대표 AI 스타트업이다. 업스테이지는 허깅페이스 리더보드에서 오픈LLM 역사상 최초로 챗GPT의 벤치마크 점수를 뛰어넘는 성능으로 1위를 차지하며 거대 언어 모델(LLM) 업계에서 두각을 나타내고 있다. 이런 기술력을 기반으로 데이터 보안을 극대화하고 할루시네이션을 해결한 신뢰할 수 있는 프라이빗 LLM의 표준을 제시, 최첨단 기술을 기업이 편리하게 사용할 수 있도록 돕는다. 또한, 업스테이지의 Chat AI ‘AskUp’은 140만 명이 넘는 사용자를 보유, 국내 최대 AI 서비스로 자리매김했다. 또다른 업스테이지 대표 솔루션인 Document AI Pack은 세계 최고 권위 OCR 대회를 석권한 AI OCR 기술을 활용, 효율성과 정확성을 높여 문서 자동화 실현한다. 최소한의 데이터로 사전 학습된 모델을 통해 문서 처리를 최적화함으로써 수작업 방식에 비해 비용과 시간을 획기적으로 최소화한다. 마지막으로, 교육프로그램 ‘에듀스테이지’를 통해 AI 비즈니스 경험을 녹여낸 실습 위주의 교육과 탄탄한 AI 기초 교육을 통해 AI 비즈니스에 즉각 투입될 수 있는 차별화된 전문 인재를 육성하는 교육 콘텐츠 사업에도 적극 나서고 있다.
업스테이지는 구글, 애플, 아마존, 엔비디아, 메타, 네이버 등 글로벌 빅테크 출신의 멤버를 중심으로 NeurlPS를 비롯, ICLR, CVPR, ECCV, WWW, CHI, WSDM, DMLR 등 세계적 권위의 AI 학회에 다수의 우수 논문을 발표하고, 온라인 AI 경진대회 캐글(Kaggle)에서 국내 기업 중 유일하게 두 자릿수 금메달을 획득하는 등 독보적인 AI 기술 리더십을 다지고 있다. 업스테이지 김성훈 대표는 홍콩과학기술대학교 교수로 재직하면서 소프트웨어공학과 머신러닝을 융합한 버그 예측, 소스코드 자동생성 등의 연구로 최고의 논문상인 ACM Sigsoft Distinguished Paper Award 4회 수상, International Conference on Software Maintenance에서 10년 동안 가장 영향력 있는 논문상을 받은 세계적인 AI 구루로 꼽히며, 총 700만뷰 이상을 기록한 ‘모두를 위한 딥러닝’ 강사로도 널리 알려져 있다. 또한, 업스테이지의 공동창업자로는 네이버 Visual AI / OCR 을 리드하며 세계적인 성과를 냈던 이활석 CTO와 세계 최고의 번역기 파파고의 모델팀을 리드했던 박은정 CSO가 참여하고 있다.
