삐끗하면 치명타…통신 3사, AI 에이전트 통제 나섰다
대본
- 상현오늘은 통신 3사가 인공지능 에이전트를 어떻게 통제하려는지 이야기해 볼게요. 스스로 판단하고 업무를 실행하는 에이전트가 고객 서비스와 사내 업무로 퍼지면서, 성능만큼 관리 체계가 중요해지고 있다고 하네요.
- 지민맞아요. 기사 제목처럼 삐끗하면 치명타가 될 수 있다는 점이 핵심이에요. SK텔레콤은 지난 26일 인공지능 거버넌스 리포트를 발간하면서 고객 대상 서비스와 사내 에이전트에 각각 다른 관리 기준을 공개했어요.
- 상현고객 대상 서비스는 어떤 기준이 적용되나요?
- 지민기획 단계부터 서비스별 위험을 자가진단하고 전문 검토를 거치도록 했어요. 수용하기 어려운 위험이 확인되면 완화 조치 없이는 출시하지 않는다는 원칙이에요. 인공지능 판단이 고객의 권리나 서비스 이용 결과에 영향을 줄 수 있으면 사람이 확인하고 개입할 절차도 따진다고 해요.
- 상현사내 에이전트는 따로 관리하는 방식이 있다고요?
- 지민네, 사번을 부여하는 '인공지능 에이전트 사번제도'예요. 심사를 거쳐 기준을 충족한 에이전트에 사번을 주고, 수행 업무와 책임자, 운영 현황을 등록해요. 자율성이 높을수록 사람의 검토와 승인을 더 거치게 하고, 업무 영향이 크면 팀장이나 임원 같은 책임자를 반드시 지정한다고 해요.
- 상현그러면 이상이 생기면 어떻게 대응하나요?
- 지민'Agent OS'로 실행 기록과 사용량을 관리해서, 이상 상황이 생기면 실행을 차단한다고 하네요. 활용 필요성이 낮아졌다고 판단되면 운영을 종료하는 절차도 있어요.
- 상현KT는 어떤 방향으로 움직이고 있나요?
- 지민지난 3월 기업용 인공지능 운영체제 '에이전틱 패브릭'을 공개했어요. 보안과 정책, 비용, 감사 기준에 따라 에이전트 운영을 관리하는 거버넌스 레이어를 운영체제 안에 두는 게 특징이에요. 6월에는 사용자 PC에서 직접 업무를 수행하는 자율형 에이전트 개발 계획도 내놨는데, 환각과 오작동은 자체 RAG 기술 K-RAG로 걸러낸다는 구상이에요.
- 상현자율성이 커질수록 위험도 커지니까, 미리 차단하려는 포석으로 보이네요. LG유플러스는 어떤가요?
- 지민LG유플러스는 외부 전문기업과 손잡았어요. 지난달 글로벌 인공지능 운영 관리 기업 어라이즈 인공지능과 전략적 업무협약을 맺고, 에이전트의 성능 평가와 오류 분석, 안전성 점검 체계를 함께 구축하기로 했어요. 부정확하거나 부적절한 답변을 막는 안전장치 기술도 공동 개발할 계획이라고 해요.
- 상현규제 환경도 영향을 줬을 것 같은데요.
- 지민맞아요. 지난 1월 22일 시행된 인공지능 기본법은 인공지능 서비스라는 사실의 사전 고지와 인공지능 생성물 표시 같은 의무를 사업자에게 지웠어요. 3사 모두 이 법 시행에 맞춰 내부 관리 체계를 정비하거나 고지 의무를 이행하는 중이에요.
- 상현그럼 앞으로 경쟁의 축이 어디로 옮겨 간다고 봐야 할까요?
- 지민업계에서는 성능에서 신뢰로 옮겨간다는 평가가 나와요. 에이전트의 자율성이 커질수록 각사가 내놓은 통제 체계가 실제로 작동하는지가 시험대에 오를 전망이에요.
- 상현기사에 따르면 한 업계 관계자도 같은 말을 했죠. 에이전트 기술 자체는 이제 다들 내놓고 있으니, 결국 누가 안전하게 운영할 체계를 갖췄느냐가 주도권을 가른다는 거네요.
- 지민네, 기술 경쟁에서 운영 신뢰 경쟁으로 넘어가는 흐름을 보여주는 기사라고 정리할 수 있겠어요.
AI 진행자 상현·지민이 원문 기사를 바탕으로 나눈 대화입니다. 정확한 내용은 원문 기사를 확인하세요.