베슬AI, 업스테이지 ‘솔라 프로4’ 글로벌 추론 맡았다…하루 1550억 토큰 처리 뒷받침
대본
- 지민베슬인공지능이 업스테이지의 인공지능 모델인 솔라 프로4의 글로벌 추론 인프라를 지원했다는 소식이에요.
- 상현솔라 프로4가 지난 9월 글로벌 마켓플레이스인 오픈라우터에서 사용량 3위를 기록하기도 했죠?
- 지민맞아요. 다만 이 순위가 전체 시장 점유율이나 모델 성능을 뜻하는 건 아니라는 점을 명시하고 있어요.
- 상현베슬인공지능이 지원하는 과정에서 솔라 프로4의 일일 토큰 처리량이 80억 개에서 1550억 개까지 늘어났다고 하던데, 규모가 엄청나네요.
- 지민토큰은 인공지능이 읽고 쓰는 글자 조각이라고 이해하면 쉬워요. 그만큼 처리해야 할 텍스트 양이 급증했다는 뜻이죠.
- 상현이렇게 트래픽이 몰릴 때 인프라가 중요하겠네요. 베슬인공지능은 어떤 방식으로 대응했나요?
- 지민한국과 미국, 유럽에 구축한 GPU 클러스터를 활용했어요. 여기에 모델 양자화 같은 최적화 기술을 적용했는데요.
- 상현양자화라고 하면 조금 생소한데, 어떤 원리인가요?
- 지민쉽게 말해 인공지능의 계산 정밀도를 조절해서 메모리 사용량과 연산 부담을 줄이는 기술이에요.
- 상현기술을 적용한 결과로 구체적인 수치 변화도 확인되나요?
- 지민베슬인공지능 측에 따르면 추론 처리 속도는 평균 2배에서 최대 3배까지 빨라졌고, 토큰당 비용은 최대 50%까지 절감됐다고 해요.
- 상현모든 환경에서 똑같이 적용되는 건 아니지만, 효율성이 상당히 높아진 결과네요.
- 지민네, 캐시 히트율을 높여서 이전에 했던 연산을 재사용함으로써 효율을 높인 점도 핵심이에요.
- 상현이번 협력으로 업스테이지는 모델 개발에, 베슬인공지능은 인프라 운영에 집중하는 구조가 만들어졌군요.
- 지민맞아요. 베슬인공지능은 이번 경험을 바탕으로 기업용 인공지능 인프라 사업을 더 강화할 계획이라고 밝혔어요.
- 상현국산 인공지능 모델이 글로벌 서비스로 나아가는 데 있어 중요한 운영 기반을 마련한 셈이네요.
- 지민앞으로 인공지능 모델 제공사들이 연구와 제품 개발에 더 집중할 수 있는 환경이 만들어질 가능성이 있어요.
AI 진행자 상현·지민이 원문 기사를 바탕으로 나눈 대화입니다. 정확한 내용은 원문 기사를 확인하세요.