AI 반도체란 AI 서비스 구현에 필요한 대규모 연산을 효율적으로 처리하는 데 특화한 비메모리 반도체를 말한다. AI반도체는 기존의 중앙처리장치(CPU)와 그래픽처리장치(GPU)가 하는 일을 담당하는 등 ‘AI의 두뇌’ 역할을 한다고 해도 과언이 아니다. AI 반도체는 수많은 데이터 연산과 추론을 초고속으로 처리한다.

지난해부터 올해까지 생성형 AI 관련 애플리케이션이 속속 개발되고 있지만 관련 인프라는 그만큼 빠르게 성장하지 못했다. 본래 대부분의 비즈니스는 인프라가 만들어지고 콘텐츠와 생태계가 형성되는데, 생성형 AI 시장은 콘텐츠가 먼저 나오고 인프라가 따라가는 추세다.
그리고 관련 시장을 엔비디아(NVIDIA)가 80% 이상 점유하는 등 인프라 시장 우위를 점령하며 성장 중이다.

엔비디아는 생성형 AI 붐 시장의 초기 승자라고 해도 과언이 아니다. 엔비디아와 대표 반도체 기업인 AMD와 인텔의 2023년 2분기 데이터센터용 칩 판매량을 비교해 보자. 데이터센터용 칩은 CPU와 GPU, 데이터처리장치(DPU) 등으로 구성되는데 3개 기업의 데이터센터 매출을 비교한 결과, 엔비디아 데이터센터 매출은 2년 동안 4배 증가하며 나머지 두 기업을 앞질렀다.

엔비디아의 독주 속에 AMD가 그나마 힘겨운 싸움을 하고 있다. 엔비디아 칩의 공급이 부족해지자, AMD는 이를 기회로 삼아 AI 전용칩 MI300X를 내놓고 반전을 노리고 있다. 반면, 인텔은 매년 데이터센터 매출이 감소하는 등 관련 시장에서 전혀 힘을 쓰지 못하고 있다.

한편 반도체 기업보다 적극적으로 엔비디아를 견제하는 곳은 따로 있다. 바로 빅테크 기업이다. 생성형 AI 서비스와 클라우드 서비스를 가진 마이크로소프트, 구글, 아마존 등이 AI 칩 자체 제작에 뛰어들었다. 엔비디아의 고객들이 스스로 칩을 만들겠다고 나선 것이다.

빅테크 기업 입장에서는 엔비디아 독점 상황을 이대로 두고 볼 수 없는 것이 당연하다. 이 상황이 계속되면 생성형 AI서비스의 로드맵을 짜는 데도 엔비디아의 눈치를 보아야 하기 때문이다. 더군다나 실제로 엔비디아 칩 공급이 원활하지않아 생성형 AI 서비스 확장에 어려움도 겪고 있다. 과거 모바일 시장에서 퀄컴이 스마트폰 제조사의 라인업을 좌우했던 경험이 있는 만큼, 비슷한 상황이 펼쳐지는 것을 미연에 방지하겠다는 계산이다.

이처럼 빅테크는 미래 비즈니스를 위해 AI 칩 개발을 꼭 해야만 하는 상황에 놓인 한편, 스타트업 입장에서는 제2의 엔비디아가 될 수 있는 새로운 기회가 열린 셈이다. AI 칩 시장은 빅테크와 스타트업까지 뛰어들어 엔비디아에 도전장을 던지는 구도다.

H200에는 141기가바이트(GB)의 차세대 메모리 반도체 ‘HBM3’가 들어갔다. 고대역폭 메모리를 뜻하는 HBM(High Bandwidth Memory)은 여러 개의 D램을 수직으로 연결해 데이터 처리 속도를 혁신적으로 끌어올린 고성능 제품이다. 엔비디아는 신제품 H200이 H100보다 2배 빠른 출력을 낸다고 설명했다.

H200은 H100과 호환된다. 때문에 기존에 H100을 확보한 AI 기업이 이후 H200을 구매하여 사용하더라도 이를 위해 서버 시스템이나 소프트웨어를 바꿀 필요가 없다.

※ 본 원고는 외부 필자 의견으로 당사의 투자 의견과는 무관합니다.

관련 콘텐츠
[시리즈] US TECH ② AI 반도체 시장에 뛰어든 빅테크와 스타트업