마이크로소프트도 온디바이스 환경에 적합한 ‘파이-3’을 발표했고, 메타는 오픈소스 ‘라마3’, 구글은 ‘젬마2B’dhk ‘7B’를 각각 출시했습니다. 국내에서도 네이버와 이통3사, 일부 스타트업들도 이런 추세에 함께 하고 있습니다.

MS, ‘파이-3-미니’ 제품군

 마이크로소프트는 지난 4월 23일 성능이 뛰어나고 비용 효율적인 소형언어모델인 ‘파이-3(Phi-3)’ 모델 제품군을 오픈소스로 개방했습니다. 또 38억 개 매개변수의 ‘파이-3-미니(Phi-3-mini)’에 이어 몇 주 안에 70억 개이 ‘파이-3-소형(Phi-3-small), 140억 개의 ’파이-3-중형(Phi-3-medium)‘ 모델을 공개할 예정이라고 합니다.

 ‘파이-3-미니(Phi-3-mini)’는 3조 3,000억 개의 토큰으로 훈련된 38억 개의 매개변수 언어 모델로, 기존 대형언어모델에 비해 훨씬 가볍고 저렴해 휴대폰, 노트북, 라즈베리 파이(Raspberry Pi) 등 엣지에서 배포할 수 있을 만큼 작은데, MMLU(다중작업언어이해) 평가에서 69%, MT-bench에서 8.38을 각각 달성하는 등 우수한 성능을 인정 받았다네요.

메타, ‘라마2’, ‘라마3’ 등 개발

 메타 역시 지난 4월18일 다양한 목적으로 사용할 수 있는 오픈소스 형태의 ‘라마 3(Llama 3)’를 챗봇과 코딩 지원에 사용되는 소형 모델(8B, 70B) 2개 버전으로 공개했습니다. 라마는 모델과 일부 소스코드를 오픈소스로 공개, 이른바 ‘AI 민주화’를 이끈 LLM으로 평가되고, 특히 라마3 70B 모델도 MMLU 평가에서 79.5점을 받아 구글 제미나이 프로 1.0(71.8점), 미스트랄AI 믹스트랄(77.7점)을 앞섰다고 합니다.

구글, ‘젬마 2B’, ‘7B’ 등

 구글도 지난 2월 간단한 챗봇이나 언어 관련 작업에 유용한 파라미터 젬마 2B와 7B를 출시했습니다. 매개변수가 20억 개인 ‘젬마 2B(Gemma 2B)’와 70억 개인 ‘젬마 7B(Gemma 7B)’의 2개 버전으로 출시되었습니다.

 구글은 “젬마는 평균 64.3점을 기록해 메타의 LLM ‘라마2’가 받은 45.3점을 능가하고, 향후 온디바이스 AI용으로 개발자의 노트북이나 데스크톱 컴퓨터에서 직접 실행할 수 있다”고 밝혔습니다.

 한편 국내 업계도 이 같은 흐름에 맞춰 경량화한 sLLM 개발에 합류하고 있다.

네이버 ‘하이퍼클로바X’의 경량화 버전 ‘대시’ 공개

 네이버는 “LLM 개발에 주력하되, 비용 절감을 위해 쓰임에 따라 다양한 모델을 출시하고 비용문제를 해결하기 위해 글로벌 빅테크와 손잡고 생태계를 확장하고 있다.”고 했습니다.

 AI 개발 도구 ‘클로바 스튜디오’에 자체 초거대 AI 모델 ‘하이퍼클로바X’의 경량화 버전인 ‘대시(HCX-DASH)’를 공개했다고 하는데요. HCX-DASH는 문장 생성이나 요약 등 비교적 단순한 업무보고서를 작성하거나 맞춤형 챗봇을 구현하는 데 적합한 모델로 알려졌습니다.

 지난 주 AI엑스포에서도 온디바이스 AI 기술을 소개하는 한국 기업들이 주목을 받았다고 하는데요.

 셀바스AI가 선보인 온디바이스 음성기술은 음성기술 경량화에 성공, 스마트폰은 물론 테블릿, 노트북, 키오스크, 로봇 등 다양한 디바이스에 바로 적용할 수 있다는 점에서 주목받았습니다. 이는 온디바이스 기술인 만큼 서버 및 클라우드 연결이 필요하지 않아 정보 보안에 특화돼 있고, 인터넷 연결 없이도 안정적인 서비스를 제공할 수 있다는 것이 특징이라고 합니다.

 ✅관련 자료 

• AI 엑스포 2024 현장, 온디바이스AI, 디지털문서, 영상인식까지 - 테크42