업스테이지-NIA, 한국어 AI 경쟁력 강화를 위한 ‘Open Ko-LLM 리더보드’ 개설
2023/9/25업스테이지, NIA 공동으로 한국형 Open LLM 리더보드 구축… 1T클럽 등 AI 생태계 외연 확대
AI HUB 데이터 활용, 국내 LLM들의 성능과 혁신성을 증명할 ‘Open-Ko LLM 리더보드’ 이달 출범
“한국형 Open LLM 리더보드로 국내 LLM 성능 및 다양성 높이고 인공지능 생태계 확장 힘쓸 것”
(업스테이지=2023/9/25) 업스테이지와 한국지능정보사회진흥원(이하 NIA)이 손잡고 한국 AI 경쟁력 증진을 위해 한국어 LLM의 성능을 평가하고 비교할 수 있는 리더보드를 만든다.
업스테이지(대표 김성훈)는 NIA와 공동 주최로 한국어 LLM 리더보드인 ‘Open Ko-LLM 리더보드’를 구축, 9월 27일 개설한다고 밝혔다. 이는 지난 4일, 업스테이지와 NIA의 협력 이후 실현된 결과로, 업스테이지는 1T클럽에 이어 오픈LLM 리더보드까지 더해 한국 AI 생태계 외연을 지속 확대할 계획이다.
Open Ko-LLM 리더보드는 누구나 자신이 개발한 한국어 LLM 모델을 등록하고 다른 모델과 경쟁할 수 있는 공개 플랫폼이다. Open Ko-LLM 리더보드에 관심이 있는 연구자들은 27일 이후 허깅페이스의 Open Ko-LLM 리더보드 스페이스에서 자세한 정보를 확인하고 참여할 수 있다.
업스테이지와 NIA의 Open Ko-LLM 리더보드는 허깅페이스가 운영하는 오픈LLM 리더보드의 기존 데이터를 단순히 번역한 것이 아니라 한국어의 특성과 문화를 반영한 고품질의 데이터를 자체 구축해 한국어 특화 리더보드로서의 강점을 갖는다.
또한, 상식을 생성하는 능력을 살펴보는 ‘상식생성’ 기준을 추가해 한국어 LLM 모델의 높은 성능과 다양성을 평가할 수 있도록 했다. ‘상식생성’은 업스테이지가 고려대 임희석 교수 연구진과 협업으로 구축한 데이터셋으로 역사 왜곡, 환각 오류, 형태소 오류, 불규칙 활용 오류, 혐오 표현 등에 대한 광범위한 유형을 포함한 질문지로 구성했다. 이를 통해 AI가 주어진 조건에 대해서 만들어 낸 결과물이 한국어 사용자라면 지닐 수 있는 일반 상식에 부합할 수 있는지를 측정한다.
즉, 해당 상식생성 기준을 통해 국내에서 가장 대표적인 할루시네이션의 예시로 평가되는 '세종대왕의 맥북던짐 사건' 등의 사례들도 크게 방지할 수 있어 한국어와 역사에 대해 더 적합한 모델을 평가할 수 있다는 평가다.
Open Ko-LLM 리더보드는 한국어 LLM 연구의 수준과 경쟁력을 높이고, 한국어 데이터의 양과 질을 개선하며, 한국어 LLM의 국제적 인지도를 제고할 것으로 기대를 모으고 있다. 오픈LLM 리더보드를 기반으로 다양한 연구자들의 결과를 공유하고 공동 연구 및 협력을 촉진할 수 있으며 이를 통한 성능 수준의 향상과 산업 분야 확대에도 기여할 것으로 예상된다.
뿐만 아니라 한국어 데이터를 기반으로 리더보드가 개설 됨으로써 공개 연구결과의 투명성과 신뢰성을 확보함은 물론 국제적 인지도를 제고, 다양한 언어 연구 활성화의 시작점으로 글로벌 차원의 주목도도 높아질 것으로 보인다.
이번 Open Ko-LLM 리더보드 개설에는 최근 발표된 업스테이지와 KT의 협업도 한 몫 했다. AI 생태계 확대에 양사가 힘을 합쳐 KT 클라우드의 인프라 지원을 통해 리더보드가 안정적으로 운영될 예정이다.
업스테이지의 LLM 모델 솔라는 지난 8월 허깅페이스가 운영하는 오픈 LLM 리더보드에서 챗GPT의 벤치마크 점수를 넘는 결과로 세계 1위를 차지했다. 최근에는 오픈AI 챗GPT, 구글 팜, 메타 라마, 엔트로픽 클로드 등 4개사의 LLM만 기존에 리스트에 올라 고성능 모델의 기준이 된 Poe의 메인모델로도 솔라가 등록돼 또 한번 글로벌 시장을 놀라게 했다.
업스테이지는 한국어 리더보드를 구축, 업스테이지는 1T클럽을 기반으로 한 한국어 데이터를 바탕으로 한국문화 정서를 담아낼 수 있는 고품질의 LLM을 개발하는 것을 넘어 이를 국내 LLM 독립을 위한 생태계 조성에 기여할 계획이다.
업스테이지 김성훈 대표는 “업스테이지가 NIA와 함께 한국어 LLM의 경쟁력을 증진하고 연구 수준을 더욱 높일 수 있는 Open Ko-LLM 리더보드를 개설하게 되어 무척 기쁘다”며 “앞으로도 1T클럽을 포함한 고품질 한국어 데이터 공유는 물론, 리더보드를 통한 협업 촉진과 빠른 기술 전파 등을 통해 한국 AI 생태계를 넓히고 발전을 증진시킬 수 있도록 더욱 노력 할 것”이라고 밝혔다.
※ 사진 설명 : 업스테이지(대표 김성훈)는 NIA와 공동 주최로 한국어 LLM 리더보드인 ‘Open Ko-LLM 리더보드’를 구축, 9월 27일 개설한다고 밝혔다. 이는 지난 4일, 업스테이지와 NIA의 협력 이후 실현된 결과로, 업스테이지는 1T클럽에 이번 오픈LLM 리더보드까지 더해 한국의 AI 생태계 외연을 지속 확대할 계획이다. 사진은 Open Ko-LLM 리더보드 로고 및 홈페이지와 상식 생성 데이터 예시.
-
업스테이지 | 김근교 PR 이사 | keunkyo@upstage.ai
업스테이지 | 배성범 PR 매니저 | sungbae@upstage.ai보도자료 다운받기
-
업스테이지는 2020년 10월에 설립된 국내 대표 AI 스타트업이다. 업스테이지는 허깅페이스 리더보드에서 오픈LLM 역사상 최초로 챗GPT의 벤치마크 점수를 뛰어넘는 성능으로 1위를 차지하며 거대 언어 모델(LLM) 업계에서 두각을 나타내고 있다. 이런 기술력을 기반으로 데이터 보안을 극대화하고 할루시네이션을 해결한 신뢰할 수 있는 프라이빗 LLM의 표준을 제시, 최첨단 기술을 기업이 편리하게 사용할 수 있도록 돕는다. 또한, 업스테이지의 Chat AI ‘AskUp’은 140만 명이 넘는 사용자를 보유, 국내 최대 AI 서비스로 자리매김했다. 또다른 업스테이지 대표 솔루션인 Document AI Pack은 세계 최고 권위 OCR 대회를 석권한 AI OCR 기술을 활용, 효율성과 정확성을 높여 문서 자동화 실현한다. 최소한의 데이터로 사전 학습된 모델을 통해 문서 처리를 최적화함으로써 수작업 방식에 비해 비용과 시간을 획기적으로 최소화한다. 마지막으로, 교육프로그램 ‘에듀스테이지’를 통해 AI 비즈니스 경험을 녹여낸 실습 위주의 교육과 탄탄한 AI 기초 교육을 통해 AI 비즈니스에 즉각 투입될 수 있는 차별화된 전문 인재를 육성하는 교육 콘텐츠 사업에도 적극 나서고 있다.
업스테이지는 구글, 애플, 아마존, 엔비디아, 메타, 네이버 등 글로벌 빅테크 출신의 멤버를 중심으로 NeurlPS를 비롯, ICLR, CVPR, ECCV, WWW, CHI, WSDM, DMLR 등 세계적 권위의 AI 학회에 다수의 우수 논문을 발표하고, 온라인 AI 경진대회 캐글(Kaggle)에서 국내 기업 중 유일하게 두 자릿수 금메달을 획득하는 등 독보적인 AI 기술 리더십을 다지고 있다. 업스테이지 김성훈 대표는 홍콩과학기술대학교 교수로 재직하면서 소프트웨어공학과 머신러닝을 융합한 버그 예측, 소스코드 자동생성 등의 연구로 최고의 논문상인 ACM Sigsoft Distinguished Paper Award 4회 수상, International Conference on Software Maintenance에서 10년 동안 가장 영향력 있는 논문상을 받은 세계적인 AI 구루로 꼽히며, 총 700만뷰 이상을 기록한 ‘모두를 위한 딥러닝’ 강사로도 널리 알려져 있다. 또한, 업스테이지의 공동창업자로는 네이버 Visual AI / OCR 을 리드하며 세계적인 성과를 냈던 이활석 CTO와 세계 최고의 번역기 파파고의 모델팀을 리드했던 박은정 CSO가 참여하고 있다.
