업스테이지-콴다-KT, 챗GPT 뛰어넘는 수학 특화 언어모델 개발
2024/1/8업스테이지-콴다, KT 전략적 파트너십 일환으로 오픈AI, MS 뛰어넘는 수학 GPT 개발
GPT-4, MS ToRA 13B 성능 능가... 13B 사이즈 이하 모델 중 1위 달성 쾌거
업스테이지-콴다-KT 3사의 유기적인 협력으로 고난도로 꼽히는 LLM 수학 영역 정복
(업스테이지=2024/1/8) 업스테이지(대표 김성훈)는 AI 기반 학습 플랫폼 ‘콴다’ 운영사 매스프레소(대표 이용재), KT와 공동 개발한 수학 도메인 특화 ‘MathGPT(가칭)’가 오픈AI의 챗GPT와 마이크로소프트(MS) 모델을 제치고 세계 신기록을 달성했다고 8일 밝혔다.
작년 11월, 업스테이지와 콴다는 KT와 전략적 파트너십의 일환으로 MathGPT 개발에 착수했다. 업스테이지는 콴다의 고품질 수학 전문 데이터를 학습해, 자연어 기반 언어모델이 논리적 추론과 프로그래밍화를 통해 복잡한 수학 문제를 풀 수 있도록 파인튜닝을 진행했다.
이에 양사는 13B 매개변수의 MathGPT를 개발, ‘MATH’, ‘GSM8K’ 등 언어모델의 수학 능력을 평가하는 대표 벤치마크 테스트에서 동급 최강의 MS ‘ToRA 13B’를 능가하는 고무적인 성적표를 거뒀다. 이는 13B 이하 모델 1위에 해당하는 신기록이다.
12,500개의 고난도 수학 경시 문제로 구성된 MATH 벤치마크와, 8,500개의 초등학교 수학 문제로 산술 연산을 테스트하는 GSM8K 벤치마크 등 두가지 척도에서 동시에 최고 성능을 달성한 경우는 최근 세계적으로도 유례를 찾아볼 수 없는 성과다.
특히, MathGPT는 벤치마크 테스트 평균에서 챗GPT 성능을 돌파하고, MATH 벤치마크에서는 GPT-4까지 능가하는 기염을 토했다. 고난도의 수학 도메인에서 국내 개발한 소형 사이즈 모델이 오픈AI, MS 등 빅테크 기업을 제치고 의미있는 깃발을 꽂은 것이다.
이러한 성과에는 업스테이지, 콴다, KT 3사의 유기적인 협력이 주효했다. 전략적 파트너십을 통한 KT의 전폭적인 인프라 지원에 힘입어, 콴다의 독보적인 수학 특화 노하우와 고품질의 학습 데이터, 그리고 자체 언어모델 ‘솔라(SOLAR)’로 글로벌 빅테크를 제치고 세계 1위의 LLM을 만든 업스테이지의 모델링 기술력이 합쳐져 최고의 결과물을 만들어냈다.
MathGPT를 통해 교육 영역에서도 가시적인 성과를 확인한 업스테이지는 앞으로 솔라를 앞세워 LLM 시장 재편에 나선다. 금융, 유통, 의료, 엔터테인먼트 등 다양한 산업군을 망라해 국내를 넘어 본격적인 해외 진출을 위한 발판으로 글로벌 체질 강화에도 주력할 방침이다.
업스테이지 김성훈 대표는 “콴다, KT와의 협력을 통해 챗GPT를 뛰어넘고 세계 최고 수준의 수학 특화 언어모델을 개발하게 되어 뜻깊다”라며 “앞으로 업스테이지는 글로벌 1위 LLM 기술력을 바탕으로 다양한 영역에서 생성형 AI 혁신을 주도해 나갈 것”이라고 밝혔다.
콴다 이용재 대표는 “콴다, 업스테이지, KT 3사의 기술력과 노하우가 합쳐져 글로벌 빅테크를 뛰어넘은 의미 있는 결과를 만들어냈다”라며, “콴다의 AI 튜터를 통해 아시아를 넘어 전 세계 학생들의 교육 경험을 혁신할 것”이라고 밝혔다.
※ 사진 설명 : 업스테이지가 콴다, KT와 공동 개발한 수학 도메인 특화 ‘MathGPT(가칭)’가 오픈AI의 챗GPT와 마이크로소프트(MS) 모델을 제치고 세계 신기록을 달성했다.
-
김근교 | 브랜드 커뮤니케이션 총괄이사 | keunkyo@upstage.ai
배성범 | 브랜드 커뮤니케이션 매니저 | sungbae@upstage.ai보도자료 다운받기
-
업스테이지는 2020년 10월에 설립된 국내 대표 AI 스타트업이다. 업스테이지는 허깅페이스 리더보드에서 오픈LLM 역사상 최초로 챗GPT의 벤치마크 점수를 뛰어넘는 성능으로 1위를 차지하며 거대 언어 모델(LLM) 업계에서 두각을 나타내고 있다. 이런 기술력을 기반으로 데이터 보안을 극대화하고 할루시네이션을 해결한 신뢰할 수 있는 프라이빗 LLM의 표준을 제시, 최첨단 기술을 기업이 편리하게 사용할 수 있도록 돕는다. 또한, 업스테이지의 Chat AI ‘AskUp’은 140만 명이 넘는 사용자를 보유, 국내 최대 AI 서비스로 자리매김했다. 또다른 업스테이지 대표 솔루션인 Document AI Pack은 세계 최고 권위 OCR 대회를 석권한 AI OCR 기술을 활용, 효율성과 정확성을 높여 문서 자동화 실현한다. 최소한의 데이터로 사전 학습된 모델을 통해 문서 처리를 최적화함으로써 수작업 방식에 비해 비용과 시간을 획기적으로 최소화한다. 마지막으로, 교육프로그램 ‘에듀스테이지’를 통해 AI 비즈니스 경험을 녹여낸 실습 위주의 교육과 탄탄한 AI 기초 교육을 통해 AI 비즈니스에 즉각 투입될 수 있는 차별화된 전문 인재를 육성하는 교육 콘텐츠 사업에도 적극 나서고 있다.
업스테이지는 구글, 애플, 아마존, 엔비디아, 메타, 네이버 등 글로벌 빅테크 출신의 멤버를 중심으로 NeurlPS를 비롯, ICLR, CVPR, ECCV, WWW, CHI, WSDM, DMLR 등 세계적 권위의 AI 학회에 다수의 우수 논문을 발표하고, 온라인 AI 경진대회 캐글(Kaggle)에서 국내 기업 중 유일하게 두 자릿수 금메달을 획득하는 등 독보적인 AI 기술 리더십을 다지고 있다. 업스테이지 김성훈 대표는 홍콩과학기술대학교 교수로 재직하면서 소프트웨어공학과 머신러닝을 융합한 버그 예측, 소스코드 자동생성 등의 연구로 최고의 논문상인 ACM Sigsoft Distinguished Paper Award 4회 수상, International Conference on Software Maintenance에서 10년 동안 가장 영향력 있는 논문상을 받은 세계적인 AI 구루로 꼽히며, 총 700만뷰 이상을 기록한 ‘모두를 위한 딥러닝’ 강사로도 널리 알려져 있다. 또한, 업스테이지의 공동창업자로는 네이버 Visual AI / OCR 을 리드하며 세계적인 성과를 냈던 이활석 CTO와 세계 최고의 번역기 파파고의 모델팀을 리드했던 박은정 CSO가 참여하고 있다.
