대형언어모델(LLM)의 미래와 활용

“모든 기업은 인공지능(AI) 기업이다” 라는 말이 있습니다. 하지만 생각보다 빠르게 이 말은 우리의 현실이 되고 있습니다. 오랜 시간 동안 아주 운이 좋은 일부만이 강력한 AI 솔루션에 접근할 수 있었습니다. 인공지능은 훈련도 어렵고, 유지보수 비용이 많이 들 뿐 아니라, 규모에 알맞게 도입하는 것은 불가능에 가까웠기 때문이죠. 지금까지는 판도를 바꿀 만큼 강력한 AI를 구현하는 데 있어 큰 기술격차가 존재했고, 비용 부담도 컸습니다. 하지만 새로운 시대가 빠르게 다가오고 있습니다. 기술이 발전할 뿐 아니라 기업에서 AI에 대한 새로운 접근방식을 취하고 있기 때문이죠. 비즈니스 핵심 영역에서 AI 탈중앙화가 진행되었고, 별도의 기술적 역량 없이도 모든 직원들이 AI에 접근할 수 있게 되었습니다.

이러한 변화가 가능한 이유를 파악하기 위해서는 AI 개발의 비약적인 성장의 배경이 된 최신 트렌드와 상황을 파악해야 합니다.

대형 언어 모델(LLM): 기계에게 듣는 법을 가르치다

최근 Open AI의챗 GPT가 뜨거운 관심을 받았습니다. 사람이 말하는 듯한 완성형 텍스트 형태의 응답을 생성하는 챗봇의 능력으로 기업 전반에 걸쳐 새로운 AI 사용 사례를 확인할 수 있었습니다. 하지만 이것은 짧은 시간동안 이루어진 것이 아닙니다.

GPT-3와 같은 대형 언어 모델(LLM)은 인간의 언어를 이해하는 기계의 능력에 혁신을 일으켰습니다. 대형 언어 모델(LLM)은 대규모의 복잡한 데이터 세트 학습을 통해 인간의 미묘한 질문과 대화를 이해하고 응답할 수 있도록 지원합니다. 자연어처리(Natural Language Processing) 연구자들이함께제작한언어 AI의성능을측정하는테스트셋인SuperGLUE 벤치마크에 따르면 새로운 LLM은 언어 이해력 부분에서 종종 인간을 뛰어넘는 것으로 나타났습니다.

챗GPT는 이 기술의 대표적인 활용 사례 중 하나에 불과합니다. 많은 기업들이 LLM을 다양한 AI 사용 사례를 위한 기본 모델로 사용하고 있죠. 모델은 방대한 데이터 세트를 수집하고 이해한 후, 비즈니스에 활용할 만한 유용한 패턴을 찾아냅니다. 관련성이 높은 데이터를 그룹화하는 것을 클러스터링이라고 하는데, LLM은 사람의 도움 없이도 이 작업을 수행할 수 있을 정도로 높은 정확도를 갖추었습니다.

LLM은 별도의 훈련 없이도 방대한 언어 데이터 세트에서 가치 있는 인사이트를 도출합니다. 유아이패스 커뮤니케이션 마이닝의 핵심인 LLM은 이메일, 티켓과 같은 대량 커뮤니케이션에서 감정과 날짜, 주문 번호, 주소와 같은 중요 데이터를 정확하게 추출합니다. 하지만 이는 AI 학습 과정의 첫 단계에 불과합니다.

AI의 반칙: 모델 훈련 과정의 마지막 5%로 건너뛰기

정교한 LLM은 AI 비즈니스 셋업에 필수적인 데이터 훈련 과정을 간소화하고, 비즈니스를 구축할 수 있는 기반을 제공합니다.

이러한 모델의 정확도와 이해도는 놀랍지만, 종종 바로 활용하기에는 너무 일반적인 대답을 제공하기도 합니다. 일반적인 비즈니스는 웬만한 AI 개발보다 훨씬 더 복잡하기 때문입니다. 모든 기업은 고유하면서도 서로 긴밀히 연결되어 있고, 모든 산업군에는 각 산업군에서 통용되는 전문용어가 있습니다. 업계에서 직접 경험을 쌓아야 배울 수 있는 용어들이죠.

이에 대한 해결책은 AI 프로세스에 사람을 투입하는 것입니다. 각 업계 및 업무의 전문가만이 용도에 따른 AI 맞춤화 훈련의 마지막 단계를 완성할 수 있기 때문입니다. 그리고 유아이패스 커뮤니케이션 마이닝과 같은 노코드 모델 훈련 툴은 이러한 과정을 보다 쉽고 빠르게 진행할 수 있도록 지원합니다.

먼저 LLM에 회사의 고유한 데이터를 입력합니다. 모델은 이를 기반으로 패턴을 찾고 예측을 생성합니다. 여기서 중요한 점은, 정확성이 떨어지는 예측은 별도의 검토와 수정을 위해 업무 전문가에게 전달되고, 이 과정에서 사람이 직접 데이터를 확인하고 알맞은 라벨링(Labeling) 작업을 수행합니다. 이렇게 모델은 실수를 기반으로 해당 산업군에 대한 세부사항을 학습합니다.

이 과정의 핵심은 바로 사람을 중심으로 지속적인 피드백 루프를 형성하는 것입니다. AI는 더 많이 훈련시킬수록, 더 뛰어난 성능을 발휘합니다. 따라서 AI 훈련 과정은 누구나 사용할 수 있는 노코드 환경에서 이루어져야 합니다. 라벨링은 일종의 새로운 프로그래밍으로, 라벨링은 최종 단계에 드는 비용 부담이 크고 복잡한 프로그래밍을 대체한다고 볼 수 있습니다.

유아이패스는 ‘능동적 학습(active learning)’이라고 불리는 이 과정을 지난 시간동안 꾸준히 지속해왔습니다. 유아이패스는 직원이 진행하는 자동화 업무 발굴 작업인 ‘직원 어시스티드 태스크 마이닝(Employee-assisted task mining)’을 통해서 AI 모델을 향상시키는 데에 필요한 강력한 기반을 제공합니다. 직원들은 유아이패스도큐멘트언더스탠딩모델을 훈련하는 데에 핵심적인 역할을 수행하며, 직원들은 혼자서도 Forms AI를 사용하여 코딩 없이도 가벼운 AI 모델을 쉽게 훈련합니다.

유아이패스는 자연어 처리 및 텍스트 마이닝 스타트업 리인퍼 (Re:infer, 현 유아이패스 커뮤니케이션 마이닝)를 인수하면서, 유니버시티 칼리지 런던 AI 연구팀 출신의 세계적인 능동적 학습 분야의 인재를 확보하기도 했습니다. 유아이패스비즈니스오토메이션플랫폼을 통해 제공되는 커뮤니케이션 마이닝과 도큐먼트 언더스탠딩으로 유아이패스는 비즈니스 커뮤니케이션과 이와 관련된 문서들을 자동화할 수 있는 완벽한 솔루션을 갖추게 되었습니다. 이는 코딩이 필요 없는 간단한 환경에서 구성된 유저-어시스티드(User-assisted)형 대형언어모델을 기반으로 합니다.

신뢰할 수 있는 AI 구현: 모델 검증 자동화

신뢰성은 AI의 취약점 중 하나였습니다. 충분히 교육되지 않거나 검증되지 않은 AI 모델은 사회적 편견을 강화하고 연령, 인종, 성별에 따라 고객을 차별하는 경우도 있었죠. 이제 LLM과 능동적 학습(active learning)을 통해서 비즈니스 자동화에 알맞은 정확성을 갖춘 모델을 훈련할 수 있습니다. 하지만 이러한 모델들의 결정이 공정하고 신뢰할 만한지 어떻게 알 수 있을까요?

비즈니스와 고객이 변화함에 따라 AI도 이와 함께 변화해야 합니다. 모델 검증은 AI의 예측과 의사 결정에 있어 신뢰성, 균형, 공정성을 확보하는 데에 매우 중요합니다. 하지만 모델 검증은 어렵고 오랜 시간이 소요되기 때문에 종종 간과되는 경우가 많죠. AI 관련 이해관계자의 73%가 ‘책임감 있는 AI 관행’(Responsible AI practices)에 대해 경영진의 지원을 받는 데 어려움을 겪고 있다고 밝힌 것은 그다지 놀랄 만한 일이 아닙니다. 하지만 모델 검증을 소홀히 한다면 신뢰할 만한 AI를 확보할 수 없습니다.

유아이패스는 신뢰할 수 있는 윤리적인 AI를 구현하기 위해 많은 노력을 기울여 왔습니다. 핵심은 자동화를 통해 모델 검증 과정의 부담을 줄이는 것입니다. 커뮤니케이션 마이닝에는 모델 등급 분류(Model Rating) 기능이 탑재되어 사용자에게 개선이 필요한 부분을 명확하게 알려줍니다. 유아이패스는 모델 훈련 과정에서 데이터에 잠재된 편향을 식별하고 예측의 정확도에 대한 등급을 매깁니다. 유아이패스의 새로운 훈련 기능은 사용자가 모델의 취약점을 해결하기 위해서 어떤 조치를 취해야 하는지에 대한 안내도 제공합니다.

사용자가 모델의 코드나 데이터를 일일이 확인할 필요가 없고, 거짓양성이나 거짓음성과 같은 데이터 오류에 시간 낭비하지 않을 수 있게 되었습니다. 사용자는 AI 훈련 프로세스의 전과정에 걸쳐 안내를 제공받게 되는 것이죠.

AI의 패러다임 전환

미래에는 AI가 뒤에서 인간을 도우는 역할을 수행하며 인간이 중심이 되는 시대가 올 것입니다.

LLM, 능동적 학습, 모델 검증의 혁신은 비즈니스에 청사진을 제공합니다. 형태나 적용 방식에 관계없이 별도의 코딩 없이도 쉽게 AI개발이 이루어질 수 있고, 이로 인해 AI는 언제 어디서든 찾아볼 수 있는 비즈니스 구축의 기반이 될 것입니다. AI는 어디서든 존재하고, 누구든지 사용할 수 있으며, 상호작용을 통해 지속적으로 개선될 것입니다.

사용자 관점에서의 머신 러닝은 점차 사용자 경험과 워크플로우만 남을 것입니다. 향후 몇 년 안에, 모든 사람이 각자 업무에서 강력한 AI를 사용하고 훈련하는 시대가 오겠죠. 그리고 비즈니스의 모든 구성원은 AI를 활용해 더 빠르게 비즈니스 성공을 달성할 수 있을 것입니다.

미래에 AI는 매우 간단하고 어디에든 존재할 것으로 예상돼 이를 활용하고 교육하는 사람들은 AI의 존재 조차조차 인식하지 못할 것입니다. 보이지 않는 AI가 비즈니스를 운영하고, 직원의 역량을 강화하며, 고객을 만족시키죠. 하지만 주어진 역할을 올바르게 수행하기 위해서는 여전히 사람이 필요합니다!