고객 분들의 목소리에 귀 기울이고자 설문을 받고 있습니다. 솔직한 의견, 좋았던 부분 등을 담아주시면 앞으로 진행될 금융/보험 이벤트에 참고하여 더 나은 모습으로 뵐 수 있도록 하겠습니다. 발표 자료의 일부는 공개되지 않은 점 미리 양해 부탁 드립니다.

이번 웨비나 외 기술/제품에 대해 더 궁금하신 분들은 언제든 편하게 문의해주세요!

RLHF로 챗봇이 계속 학습되려면 인간이 제대로 답변을 얻었는지 피드백을 줘야하는데 대부분 정보를 못얻으면 “에이 그럼 그렇지” 하고 챗을 나가버리고 정보를 얻으면 바로 그 정보 쓰러 가버리는데, 사용자가 그냥 이렇게 떠나버렸을 때는 어떻게 학습을 하나요?

말씀해주신 경우에는 학습 데이터로 활용하기 어려울 것입니다. 그러나 사용자의 피드백을 잘 모으는 것은 굉장히 중요합니다. OpenAI Up/Down Vote를 적용하여, 사용자의 선호도를 반영하고 있습니다. 이러한 피드백 시스템을 더 활성화 시키도록 UX적인 개선이 일어나야할 것으로 생각됩니다.

은행같은 on prem 환경에서 fine tune 시킨 llm은 시간이 지날수록 public에서 방대한 데이터로 학습하는 llm과 성능이 벌어질텐데, fine tune 된 on prem llm을 더 성능 좋아진 public llm과 merge시킬 수 있나요?

Merge를 시키기보다, on prem llm으로 운영을 하게되면, 데이터가 지속적으로 쌓일 거고, fine tune 시킨 llm에 continual learning (지속 학습, 연속 학습)을 적용하여 지속적으로 개선을 해야할 것입니다. 물론 on prem 환경이라도, backbone 모델을 주기적으로 (ex. 1년) 업데이트 시켜 품질 유지를 하는 것이 중요할 것입니다.

금융/보험에서 polyglot-1.3b와 같은 sLLM을 파인튜닝해서 상용화하고자 할 때 파라미터 개수가 적으면 어려울까요? 예를 들어 보험약관 PDF파일을 기반으로 Q&A를 해주는 답변 챗봇을 만들고자 할 때 적절한 파라미터 크기는 어느정도 요구될까요?

1.3B는 개인적인 생각으로 너무 작은 LLM이라고 생각합니다. 최소한 7B 이상은 되어야 만족하는 성능이 나오는 추세입니다 적절한 파라미터의 크기는 결국 어떠한 use case에 적용하느냐에 따라 달라질 것입니다. 만약 내가 LLM을 도입하려는 use case가 1.3B로도 충분히 잘 작동한다면, 1.3B로 운영해도 무방할 것입니다

보험/금융업 특성상 Public 망에서의 활용 이슈가 있습니다. LLM역시 비슷한 상황일텐데 보안 규제를 어떻게 해결해서 사용할 수 있을까요?

업스테이지가 도입하여는 On prem LLM의 경우 public망을 이용하는 것이 아닌, Private SaaS 형태로 제공하거나, 기업에서 직접 업체망에 들어가서 자사의 데이터로 학습을 시켜드리는 방향을 생각 중입니다. 그렇기에 보안 이슈라던가, 규제 문제에서 자유롭습니다. 결국 고객사에 직접 들어가 고객사 망과 서버를 기반으로, 고객 전용 LLM을 직접 만들어드리기 때문입니다

환각현상을 줄이기 위한 방법이 RAG아키텍쳐와 파인튜닝 두가지가 있는걸로 알고있습니다. 파인튜닝은 프리트레인때 배우지 못한 새로운 지식을 학습시키는것은 영향이 미미 하다고 알고있는데 실제로 어떤지 궁금합니다.

실험의 영역입니다. 모든 LLM은 현재 미지의 영역이고 실험의 영역입니다. 즉 직접 실험을 해보면서 경험하는 것이 답이고, 수식처럼 명확한 정답이 있는 것은 아닙니다