구글, 8세대 인공지능 반도체 공개… 학습·추론 분리 설계로 성능 경쟁력 강화
대본
- 상현구글이 8세대 인공지능 반도체를 공개했어요. 이번에는 학습용과 추론용으로 나눠 설계했다고 하는데, 어떤 차이가 있는 건지 궁금하네요.
- 지민네, 이번 발표의 핵심이 바로 그 분리 설계예요. 학습용 TPU 8t는 방대한 데이터로 모델을 훈련하는 데 초점을 맞췄고, 구글은 이전 세대보다 한 개 팟 기준 연산 성능이 약 3배 향상됐다고 설명했어요.
- 상현학습용은 계산량이 핵심이라는 말이네요. 그럼 추론용 TPU 8i는 어떤 역할인가요?
- 지민TPU 8i는 실제 서비스를 운영하는 환경을 겨냥했어요. 사용자 질문에 답하거나 여러 단계 작업을 수행하는 인공지능 에이전트가 늘어나면, 짧은 시간에 많은 요청을 처리하면서 응답 지연을 줄이는 능력이 중요해지거든요.
- 상현응답 속도가 중요하다는 거군요. 기사에서는 메모리 쪽 수치도 나왔던데, 어떤 변화가 있었나요?
- 지민온칩 정적 메모리를 이전 세대보다 3배 늘려 384메가바이트로 확대했다고 밝혔어요. 메모리 용량과 대역폭을 강화하고, 칩 사이 통신 지연을 줄이는 구조도 적용했대요.
- 상현그러니까 학습은 연산력 중심, 추론은 빠른 응답 중심으로 각각 맞췄다는 얘기네요. 구글은 이걸로 무엇을 노리는 걸까요?
- 지민운영 비용을 낮추고, 기업 고객이 필요한 성능을 골라 쓸 수 있게 하려는 전략으로 보여요. 자체 칩이 있으면 외부 반도체 의존도를 줄이고, 모델 구조와 하드웨어를 함께 최적화할 수도 있어요.
- 상현전력 효율도 중요하다고 들었어요. 성능만 높아서는 안 된다는 뜻인가요?
- 지민맞아요. 대규모 데이터센터는 전력 공급, 냉각, 네트워크 운영 비용이 사업성을 좌우하거든요. 구글은 칩과 네트워크, 소프트웨어를 함께 설계해 시스템 전체 효율을 높이는 방향을 강조하고 있어요.
- 상현그렇다면 엔비디아 중심의 시장 구도에도 영향을 줄 수 있겠네요?
- 지민가능성은 있다고 볼 수 있어요. 다만 기사에서도 TPU의 성능과 비용 효율이 모든 환경에서 같게 나타나는 것은 아니라고 짚고 있어요. 고객의 모델, 소프트웨어, 데이터센터 구성에 따라 결과가 달라질 수 있다는 거죠.
- 상현고객 입장에서는 기존 시스템에서 얼마나 쉽게 옮겨 갈 수 있는지도 관건이겠네요.
- 지민그렇죠. 개발 도구와 서비스 생태계가 얼마나 폭넓게 지원되는지도 중요한 판단 기준이에요. 기술 강점을 실제 고객 확보와 클라우드 매출 성장으로 연결할 수 있을지가 다음 관전 포인트예요.
- 상현정리하면 구글은 학습과 추론을 나눠 설계하면서, 성능과 전력, 운영 비용까지 함께 챙기려는 거네요. 앞으로 어떤 고객이 얼마나 옮겨 올지 지켜봐야겠어요.
AI 진행자 상현·지민이 원문 기사를 바탕으로 나눈 대화입니다. 정확한 내용은 원문 기사를 확인하세요.