새 오픈웨이트 모델이 나올 때마다 같은 결론이 따라옵니다. 머지않아 노트북과 휴대전화가 클라우드를 밀어내고, AI 데이터센터는 지금처럼 중요하지 않게 될 것이라는 이야기입니다.

저는 반대로 봅니다. 로컬 AI는 분명 커질 겁니다. 하지만 AI가 사용되는 화면과 실제 계산이 처리되는 장소는 같은 문제가 아닙니다. 기기 안의 작은 모델이 대화를 시작하고 민감한 정보를 정리하더라도, 긴 추론과 큰 컨텍스트, 여러 도구를 쓰는 작업은 데이터센터로 넘어갈 수 있습니다. 로컬 사용이 늘면서 데이터센터 추론도 함께 늘어나는 모습이 더 현실적입니다.

이 글은 로컬 모델을 깎아내리려는 글이 아닙니다. “클라우드는 항상 싸다”는 주장도 하지 않습니다. 2026년 8월 25일 기준 공식 문서와 1차 연구를 바탕으로, 어떤 구조에서 데이터센터가 유리하고 어디서 그 우위가 사라지는지를 구분해 보려는 글입니다. 직접 측정한 속도 벤치마크나 5년 뒤 시장 점유율 예측은 아닙니다.

오픈웨이트의 진전은 진짜다. 다만 ‘로컬’은 한 종류가 아니다

오픈웨이트는 학습이 끝난 모델의 가중치를 내려받아 자신이 선택한 인프라에서 실행할 수 있다는 뜻입니다. 소스 코드와 학습 데이터까지 전부 공개됐다는 뜻도, 운영비가 들지 않는다는 뜻도 아닙니다.

OpenAI의 gpt-oss 발표는 이 차이를 잘 보여 줍니다. gpt-oss-20b는 16GB 메모리에서 실행할 수 있도록 설계됐고, gpt-oss-120b는 80GB 메모리에 들어갑니다. 둘 다 오픈웨이트지만 전자는 고사양 개인 기기와 엣지 장비를 겨냥할 수 있고, 후자는 80GB급 GPU 또는 그에 준하는 메모리 환경이 필요합니다.

gpt-oss-20b는 16GB 메모리, gpt-oss-120b는 80GB 메모리에 맞는 서로 다른 배포 등급임을 비교한 도식

출처 수치: OpenAI, Introducing gpt-oss. 2026-08-25 확인. 메모리 적재 가능 여부는 실제 속도나 품질을 보장하는 벤치마크가 아닙니다.

그래서 ‘로컬 대 클라우드’라는 한 줄 비교부터 풀어야 합니다. 책상 위 PC, 회사 서버실의 온프레미스 클러스터, 외부 호스팅 업체의 전용 GPU, 모델 제공사의 API는 서로 다른 선택지입니다. 회사가 직접 통제하는 8-GPU 서버는 소유 관점에서는 로컬이지만, 전력과 냉각, 운영 방식은 작은 데이터센터에 가깝습니다. 반대로 오픈웨이트 모델도 제3자 클라우드에서 서비스될 수 있습니다.

성능도 고정된 선이 아닙니다. 작은 모델이 오늘의 특정 벤치마크에서 큰 모델을 따라잡을 수는 있습니다. 그렇다고 내일의 복잡한 에이전트 작업까지 같은 비용으로 끝낸다는 뜻은 아닙니다. 컨텍스트 길이, 도구 사용, 오류 복구, 멀티모달 입력, 한 번에 끝낼 수 있는 작업 길이가 늘면 사용자의 기대도 함께 올라갑니다. 결국 모델 선택은 “로컬이 얼마나 똑똑해졌나”보다 내가 끝내려는 일을 어느 모델이 가장 적은 재시도로 끝내는가에 가깝습니다.

데이터센터의 가장 큰 우위는 요청을 모을 수 있다는 점이다

데이터센터의 구조적 이점은 비싼 GPU를 샀다는 데서 끝나지 않습니다. 서로 다른 사용자의 요청이 계속 들어오는 큰 대기열을 갖는다는 점이 중요합니다.

NVIDIA Triton 문서가 설명하는 동적 배칭은 개별 추론 요청을 서버에서 묶어 한 번에 처리하는 방식입니다. 배치를 만들면 보통 처리량이 늘어납니다. 다만 더 큰 묶음을 기다리느라 응답이 늦어질 수 있으므로, 운영자는 지연시간 예산과 처리량 사이에서 값을 조정해야 합니다.

한 사람의 불규칙한 로컬 요청은 GPU 일부만 채우지만 여러 사용자의 요청 풀은 배칭을 통해 가속기 사용률을 높일 수 있음을 보여 주는 도식

개념 근거: NVIDIA Triton Dynamic Batcher. 배칭 효과는 모델, 입력 길이, 동시성, 지연시간 목표에 따라 달라집니다.

대화형 LLM은 출력 토큰을 순서대로 생성하기 때문에 모든 계산을 한꺼번에 끝낼 수 없습니다. 그래도 서로 다른 사용자의 토큰 생성 단계를 같은 GPU에서 교차 실행하면 빈 공간을 줄일 수 있습니다. 데이터센터는 요청 풀이 크고 하루 종일 분산돼 있어 이 통계적 다중화를 만들기 쉽습니다.

그렇다고 로컬에는 배칭이 불가능하다는 뜻은 아닙니다. 개발자가 에이전트 여러 개를 동시에 돌리거나 회사가 사내 모델 서버를 여러 팀과 공유하면 요청을 묶을 수 있습니다. 차이는 가능 여부가 아니라 요청을 지속적으로 채울 확률입니다. 한 사람이 잠든 시간에도 감가상각은 계속되지만, 대규모 서비스는 다른 지역과 다른 고객의 요청으로 장비를 채울 수 있습니다.

여기서 “데이터센터가 30배 효율적이다” 같은 숫자를 하나 박아 넣으면 오히려 설명이 약해집니다. PagedAttention 논문은 연구진이 실험한 워크로드에서 기존 시스템 대비 같은 수준의 지연시간으로 2–4배 처리량 향상을 보고했습니다. 의미 있는 결과지만 모든 모델과 하드웨어에 그대로 적용되는 상수는 아닙니다. 배칭의 방향은 분명하고, 배수는 환경별로 측정해야 합니다.

비용은 GPU 가격이 아니라 사용률과 모델 동등성으로 갈린다

로컬 비용을 전기요금만으로 계산하거나 API 비용을 월 구독료만으로 계산하면 둘 다 틀립니다. 최소한 다음 항목은 같은 표에 놓아야 합니다.

월 로컬 TCO = (장비 가격 - 잔존가치) ÷ 사용 개월
              + 평균 소비전력 × 사용시간 × 전기요금
              + 냉각·고장·운영 비용

월 API 비용 = 입력 토큰 × 입력 단가
              + 출력 토큰 × 출력 단가
              + 도구·저장소·네트워크 비용

로컬 총소유비용 산식과 RTX 4090, B200의 공식 메모리·대역폭 사양을 함께 비교한 도식

하드웨어 수치: NVIDIA Ada 아키텍처 백서, NVIDIA HGX AI Factory 사양. 서로 다른 세대와 용도의 제품이며 실제 LLM 토큰 처리량 비교가 아닙니다.

NVIDIA 공식 사양에서 RTX 4090은 24GB GDDR6X와 1,008GB/s 메모리 대역폭을 갖습니다. B200 한 장은 180GB HBM3e와 최대 8TB/s 대역폭을 제공합니다. 각각 약 7.5배와 7.9배 차이입니다. 이 숫자는 데이터센터용 제품이 더 큰 모델과 더 많은 동시 작업을 다루도록 설계됐다는 점은 보여 주지만, B200이 모든 LLM에서 정확히 7.9배 빠르다는 뜻은 아닙니다. 정밀도, 배치 크기, 컨텍스트 길이, 소프트웨어 스택이 실제 결과를 바꿉니다.

손익분기점도 사람마다 다릅니다. 이미 GPU를 갖고 있고 밤낮으로 작업을 채울 수 있다면 로컬의 추가 비용은 낮아집니다. 사용량이 들쭉날쭉하고 더 강한 모델이 가끔만 필요하다면 API가 유휴 장비를 사는 것보다 유리할 수 있습니다. 외부 전송이 금지된 데이터라면 비용 비교 자체가 두 번째 문제입니다.

OpenAI의 오픈웨이트 안내도 자체 호스팅이 더 쌀 때와 API가 운영·유지보수까지 포함해 더 효율적일 때가 모두 있다고 설명합니다. 이 정도가 정직한 결론입니다. 사용량과 요구 품질을 적지 않은 채 “로컬이 늘 싸다”거나 “클라우드가 늘 싸다”고 말할 수는 없습니다.

로컬이 분명히 이기는 경계가 있다

로컬 추론의 장점은 취향이 아니라 제약에서 선명해집니다.

로컬 추론이 구조적으로 유리한 개인정보 보호, 오프라인 동작, 짧은 지연시간, 인프라 통제 네 가지 조건을 보여 주는 도식

  • 데이터가 밖으로 나가면 안 될 때: 법률, 의료, 사내 기밀처럼 외부 API 사용이 허용되지 않는 환경에서는 자체 인프라가 선택이 아니라 조건입니다.
  • 연결이 불안정하거나 없을 때: 현장 장비, 이동 환경, 재난 대응처럼 네트워크가 끊겨도 계속 작동해야 하면 온디바이스 모델이 강합니다.
  • 짧고 예측 가능한 응답이 중요할 때: 키보드 추천, 음성 인터페이스, 카메라 보조처럼 왕복 네트워크 지연 자체가 제품 경험을 해치면 작은 로컬 모델이 맞습니다.
  • 모델과 로그를 끝까지 통제해야 할 때: 특정 버전을 고정하고 커스터마이징하거나 데이터 보존 경로를 직접 감사해야 하면 오픈웨이트 자체 운영이 유리합니다.

이 네 조건에서는 모델이 가장 강한가보다 필요할 때 확실히 실행되는가가 먼저입니다. 작은 전문 모델이 반복 업무 하나를 안정적으로 끝낸다면 범용 모델 점수는 중요하지 않을 수도 있습니다.

다만 로컬이라고 자동으로 안전한 것은 아닙니다. 내려받은 모델과 런타임의 공급망, PC의 악성코드, 로그와 백업, 사용자 권한은 따로 관리해야 합니다. 클라우드로 보내지 않았다는 사실은 개인정보 보호의 한 단계일 뿐, 보안 전체를 대신하지 않습니다.

미래는 승자 하나보다 하이브리드 라우팅에 가깝다

실제 제품은 이미 로컬과 클라우드를 섞는 쪽으로 움직이고 있습니다. Apple의 Private Cloud Compute 문서는 가능한 작업은 기기에서 처리하고, 더 복잡한 기반 모델이 필요한 요청은 클라우드로 보내는 구조를 설명합니다. Android의 실험적 하이브리드 추론 API는 온디바이스 Gemini Nano를 우선하되 사용할 수 없으면 클라우드로 넘기거나, 반대로 클라우드를 우선하되 오프라인이면 기기로 전환하는 모드를 제공합니다.

개인정보·오프라인·즉시성이 중요한 작업은 로컬로, 깊고 길며 많은 자원이 필요한 작업은 클라우드로 보내는 하이브리드 라우팅 도식

구현 사례: Apple Private Cloud Compute, Android experimental hybrid inference. Android 기능은 2026-08-25 현재 실험 단계입니다.

Thinking Machines의 Interaction Models도 역할 분리의 좋은 예입니다. 실시간 상호작용 모델이 사용자 곁에 남고, 깊은 추론과 도구 사용은 비동기 백그라운드 모델에 맡깁니다. 다만 이것은 빠른 모델과 깊은 모델을 나눈 사례이지, 작은 로컬 모델과 큰 클라우드 모델을 나눴다는 증거는 아닙니다. 둘을 같은 주장으로 섞으면 안 됩니다.

제가 예상하는 흐름은 이렇습니다. 기기 안의 모델은 입력을 정리하고, 개인정보를 가리고, 짧은 답을 즉시 내고, 네트워크가 없을 때 기본 기능을 유지합니다. 서버 모델은 긴 문서, 큰 코드베이스, 복잡한 도구 호출, 높은 품질이 필요한 최종 판단을 맡습니다. 사용자는 한 제품을 쓰지만 내부에서는 여러 실행 위치와 여러 모델이 일을 나눕니다.

라우팅 기준은 다섯 가지면 충분합니다.

질문 로컬 쪽으로 기우는 조건 데이터센터 쪽으로 기우는 조건
데이터가 밖으로 나가도 되는가 전송 금지·민감 정보 정책상 전송 가능
인터넷이 항상 있는가 오프라인 필수 안정적 연결
몇 초를 기다릴 수 있는가 즉시 반응 필요 긴 처리 허용
작업이 얼마나 깊고 긴가 짧고 반복적 긴 컨텍스트·복잡한 도구 사용
요청을 얼마나 자주 채울 수 있는가 높은 고정 사용률 사용량 변동·대규모 동시성

이 전망이 틀릴 조건도 있습니다. 소형 모델의 품질이 사용자 기대보다 훨씬 빠르게 올라가거나, 메모리와 전력 효율이 크게 개선되거나, 규제로 외부 데이터센터를 쓰기 어려워질 수 있습니다. 반대로 AI 작업이 더 길고 복잡해지면 데이터센터 집중은 더 강해질 수 있습니다. 어느 쪽도 지금 확정할 수는 없습니다.

그래도 현재의 구조만 놓고 보면 결론은 선명합니다. 오픈웨이트는 실행 장소의 선택권을 넓혔지만, 요청을 모으고 큰 메모리와 가속기를 공유하는 경제학까지 없애지는 않았습니다. 제 구조적 전망으로는 로컬 AI가 커져도 총 연산량의 상당 부분은 데이터센터에 남고, 사용자의 기기는 그 연산을 언제 호출할지 결정하는 첫 번째 층이 될 가능성이 있습니다.

배포 위치를 정하기 전에 적을 것

  • 같은 품질 기준을 넘는 모델끼리 비교했는가
  • 한 달 입력·출력 토큰과 동시 요청 수를 재봤는가
  • 장비 상각, 전력, 냉각, 운영 시간을 로컬 비용에 넣었는가
  • 개인정보와 데이터 거주 요건을 비용표보다 먼저 확인했는가
  • 로컬 장애와 클라우드 장애 각각의 폴백이 있는가
  • 실행 위치를 고정하지 않고 작업별 라우팅을 시험했는가

여기서 내린 결론은 공식 문서와 1차 연구를 엮은 구조적 판단입니다. 특정 모델의 실제 속도나 조직별 비용은 직접 재야 합니다. 최종 선택 전에는 같은 프롬프트, 같은 품질 목표, 같은 사용량으로 로컬과 API를 짧게 비교해 보세요.

참고한 자료

보도 내용, 공식 문서, 정책 배경, 제품 정보처럼 시간이 지나면 바뀔 수 있는 내용을 확인할 때 본 자료입니다.