AI의 돈은 왜 아직 칩과 인프라에 몰리는가

사용자는 폭증하고 있다. 더 어려운 질문은 경제적 가치가 결국 어디에 쌓일 것인가다.

생성형 AI는 겉으로 보면 전형적인 소프트웨어처럼 보인다. 사용자가 질문을 입력하면 애플리케이션이 답하고, 서비스는 순식간에 수억 명에게 확장될 수 있다. 하지만 경제 구조만 보면 지금의 AI 산업은 전통적인 소프트웨어 붐보다 자본집약적인 인프라 건설기에 더 가깝다.

스탠포드 MS&E 435에서 아푸르브 아그라왈은 이를 ‘역삼각형’으로 설명한다. 성숙한 클라우드·소프트웨어 생태계에서는 인프라 위에 훨씬 더 큰 애플리케이션 경제가 만들어진다. 반면 현재 생성형 AI 시장에서는 가장 강한 경제성이 여전히 칩과 그 주변 인프라에 집중돼 있다는 것이 그의 주장이다.

핵심은 애플리케이션이 중요하지 않다는 뜻이 아니다. 사용량은 빠르게 늘고 있다. 문제는 사용량 증가와 가치 포착이 같은 말이 아니라는 데 있다.

왜 AI 스택은 아직 거꾸로 보이는가

전통적인 소프트웨어가 강력했던 이유 중 하나는 한 명의 고객을 더 서비스하는 데 드는 한계비용이 거의 0에 가까워질 수 있었기 때문이다. 소프트웨어를 한 번 만들고 나면 복제와 배포 비용은 매우 낮았다.

생성형 AI는 이 구조를 바꾼다. 질문 하나, 이미지 생성 한 번, 코딩 세션 하나, 에이전트 작업 하나가 모두 추론 연산을 필요로 한다. 모델이 효율화되고 하드웨어 단가가 내려가더라도 다음 사용량을 처리하는 비용 자체가 사라지지는 않는다.

아그라왈은 이 차이를 근거로 현재 AI 스택이 클라우드 소프트웨어 시대와 다른 형태를 보인다고 설명한다. 그의 강의에서는 최근 2년 동안 생성형 AI 생태계에 추가된 약 3,500억 달러 규모의 매출 가운데 약 4분의 3이 반도체 레이어에 집중됐다고 추정한다. 애플리케이션 레이어의 총이익률 역시 전통적인 SaaS보다 크게 낮을 수 있다고 본다.

이 수치는 감사된 산업 통계가 아니라 강사의 분석 모델로 봐야 한다. 다만 큰 방향은 상장기업의 공개 실적으로도 확인된다.

NVIDIA는 최근 분기 매출 962억 달러 가운데 Data Center에서 890억 달러를 기록했고, 총이익률은 75.0%였다. 이것만으로 ‘AI의 모든 이익이 반도체로 간다’고 말할 수는 없다. 하지만 산업의 다른 영역이 아직 대규모 투자를 계속하는 동안 반도체 레이어가 매우 강한 경제성을 유지하고 있다는 점은 분명하다.

그 인프라를 사서 운영하는 기업들의 지출도 여전히 막대하다. Microsoft는 한 분기에 410억 달러의 자본지출을 집행했고, 그중 약 3분의 2가 CPU와 GPU 같은 단기 자산에 쓰였다고 밝혔다. Microsoft Cloud 총이익률은 65%로 내려갔는데, 회사는 AI 인프라 투자와 제품 사용량 증가를 원인으로 명시했다. 효율 개선이 일부를 상쇄하고 있지만 비용 압력 자체는 존재한다. Alphabet 역시 2026년 자본지출 전망을 1,750억~1,850억 달러로 제시했으며, 대부분을 기술 인프라에 투입한다고 설명했다.

‘역삼각형’이라는 표현을 이해할 때 가장 중요한 사실은 이것이다. 수요는 실제다. 하지만 그 수요를 처리하는 비용도 아직 크다.

대규모 사용자가 곧 좋은 사업모델을 뜻하지는 않는다

사용자가 충분히 많아지면 경제성도 자연스럽게 해결될 것이라고 생각하기 쉽다. 반드시 그렇지는 않다.

Google에 따르면 Gemini 앱의 월간 이용자는 10억 명을 넘어섰다. 엄청난 배포 규모다. 그러나 규모가 커질수록 두 가지가 동시에 커진다. 수익화할 수 있는 기회가 늘어나는 동시에 처리해야 할 추론 부하도 커진다. 서비스가 보편화되는 속도와 단위경제성이 성숙한 소프트웨어처럼 개선되는 속도는 다를 수 있다.

그래서 아그라왈이 던진 “AI에서 돈은 어디에 있는가?”라는 질문이 단순한 모델 성능 순위보다 중요하다. 장기적 승자는 사용자 수만으로 결정되지 않을 가능성이 크다. 추론 효율, 가격 결정력, 유통, 기업용 번들, 광고, 수직 통합, 자체 칩으로의 워크로드 이동 같은 변수가 함께 작동한다.

애플리케이션 기업에 중요한 시험은 사용량이 늘어나는가가 아니다. 사용자가 얻는 유용한 작업 한 단위에서 발생하는 매출이 그 작업을 제공하는 전체 비용보다 더 빠르게 커질 수 있는가다.

가장 강한 반론: 지금의 경제 구조는 과도기일 수 있다

현재 구조를 영구적인 결론으로 받아들이면 안 되는 이유도 분명하다.

연산 비용은 내려갈 수 있다. 모델 구조가 개선될 수 있고, 자체 가속기가 비싼 범용 GPU 의존도를 줄일 수 있다. 칩·클라우드·소비자 유통을 동시에 가진 기업은 한 개 레이어만 떼어 볼 때는 불리해 보이는 비용을 내부에서 흡수할 수 있다. 거대한 무료 사용자 기반을 수익으로 전환할 새로운 사업모델도 등장할 수 있다.

실제로 변화의 조짐은 있다. Alphabet은 엔지니어링과 하드웨어 최적화를 통해 AI Mode 응답 비용을 출시 이후 가장 낮은 수준으로 낮췄다고 밝혔다. Microsoft도 효율 개선이 AI 인프라 투자와 사용량 증가로 인한 마진 압력을 일부 상쇄하고 있다고 설명한다.

이 반론은 ‘역삼각형’ 논지를 무너뜨리기보다 정확하게 만든다.

현재 AI 경제가 인프라 중심인 이유는 산업이 여전히 애플리케이션이 올라갈 기반을 건설하는 데 막대한 비용을 지불하고 있기 때문이다. 진짜 불확실성은 효율 개선, 자체 칩, 새로운 수익화가 얼마나 빠르게 경제적 힘을 애플리케이션 레이어로 이동시킬 수 있느냐에 있다.

AI 사이클의 다음 단계

생성형 AI의 첫 번째 단계는 능력이었다. 이 시스템이 실제로 유용한 일을 할 수 있는가?

두 번째 단계는 규모였다. 그 능력을 수억 명의 사용자와 기업에 제공할 수 있는가?

다음 단계는 경제성이다. 애플리케이션 레이어가 사용량을 계속 늘리면서도 더 큰 연산비 청구서를 인프라 쪽에 넘기는 것 이상으로 지속 가능한 마진을 만들 수 있는지가 핵심이 된다.

그래서 앞으로 가장 중요한 AI 지표는 벤치마크 점수나 사용자 수가 아닐 수도 있다. AI가 추가로 만들어내는 ‘유용한 일 한 단위의 가치’와 그 일을 계산하는 비용 사이의 관계가 더 중요해질 수 있다.

그 관계가 결정적으로 좋아지는 순간, 지금의 역삼각형은 비로소 뒤집히기 시작할 것이다.

관련 글: AI 데이터센터 전력의 비용을 누가 부담하는가

주요 출처

편집 방법: 아푸르브 아그라왈의 산업 가치 포착 추정치는 감사된 통계가 아닌 강사의 분석적 주장으로 구분했다.

Read in English