업스테이지, 사전학습 LLM '솔라' 공개…글로벌 대전 참전

김성훈 업스테이지 대표. (사진=업스테이지)

[이데일리 한광범 기자] AI 스타트업 업스테이지는 14일 자체 개발한 사전학습 LLM ‘솔라(Solar)’를 공개했다.

업스테이지는 이날 세계 최대 머신러닝 플랫폼 허깅페이스에서 운영하는 ‘오픈 LLM 리더보드’에서 사전학습 LLM 솔라를 공개했다고 밝혔다.

앞서 업스테이지는 지난 8월 오픈LLM 역사상 최초로 GPT-3.5의 벤치마크 점수를 뛰어넘어 주목을 받은 자사의 허깅페이스 1위 모델을 시작으로 솔라 모델을 개발했다. 허깅페이스 오픈 LLM 리더보드는 오픈소스 생성 AI 모델의 바로미터로 꼽힌다.

업스테이지는 솔라에 대해 기업들이 활용하기 좋은 프라이빗 LLM을 위해 작은 크기로 구성된 사전학습 모델로 세계 최초의 107억 매개변수(10.7B) 모델이라고 설명했다. 그러면서 고도의 지능과 컴팩트함이라는 완벽한 균형을 찾은 모델이라고 평가했다.

이어 솔라가 리더보드 평가에서 74.2점을 기록하며 전체 1위를 차지했다고 밝혔다. 이를 통해 알리바바의 최신 모델인 큐원(Qwen)의 6분의 1도 안되는 크기로 이를 훌쩍 뛰어넘는 성능을 증명했다.

또 다양한 연구를 통해 작은 사이즈의 솔라 모델 성능을 최적화했다고 전했다. 3조개가 넘는 토큰의 우수한 데이터를 통해 확장된 107억 매개변수를 완성해 크기와 성능의 최적의 조합으로 모델을 구축했다고 밝혔다.

업스테이지는 또 솔라 모델이 사전 학습 및 파인튜닝 단계에서는 리더보드 벤치마킹 데이터 셋을 사용하지 않고 자체적으로 구축한 데이터를 적용했다고 설명했다. 이는 리더보드 점수를 높이기 위해 벤치마크 셋을 직접 적용하는 모델들의 사례와 달리 솔라는 다양한 태스크의 실제 업무 활용 등 일반적인 경우 높은 사용성을 보여줄 수 있음을 반증한다고 업스테이지 측은 주장했다.

아울러 최근 20억 달러의 기업 가치로 유니콘에 오른 미스트랄AI의 최신 모델 믹스트랄(Mixtral 8x7B) 모델의 성능지표마저 뛰어넘어 글로벌 무대의 이목도 집중시켰다고 전했다.

업스테이지는 AWS 등 글로벌 플랫폼과의 협력을 통해 최고 기술력을 바탕으로 글로벌 생성 AI 시장에 본격적으로 진출할 계획이라고 밝혔다. 아울러 이번 모델 개발에 앞서 국내 최초 수학 GPT와 이커머스 프라이빗 LLM을 구축하는 등 다양한 분야에서 모델 구축의 노하우를 축적한 바 있다.

김성훈 업스테이지 대표는 “업스테이지 솔라가 모두를 위한 모델이 되기를 희망한다”며““KT의 전략투자를 통한 지원이 큰 도움이 됐고 앞으로 지속적으로 더 큰 격차를 벌릴 수 있는 최고 성능의 솔라 모델을 활용해 B2B 시장에서의 협력도 추진할 것”이라고 밝혔다.