추론 혁신: AI 산업이 추론 비용을 줄이는 방법

추론 비용을 낮추는 방법을 찾는 것은 아마도 기업이 AI 전략을 구현할 때 직면하는 가장 중요한 과제일 것입니다.

AI 라이프사이클에서 모델 학습 프로세스는 상당한 자본 지출이며, 일반적으로 정해진 기간 동안 엄청난 컴퓨팅 및 데이터 수요가 발생하는 것이 특징입니다.하지만 추론, 즉 학습된 모델을 적용하면 반복되는 운영 비용이 발생하기 때문에 초기 교육 비용을 순식간에 넘어설 수 있습니다.

AI 업계는 이러한 문제를 이해하고 있기 때문에 AI 추론 비용을 낮추는 데 초점을 맞춘 솔루션 제공업체 간에 치열한 경쟁이 벌어지고 있습니다.이러한 발전으로 다양한 산업 전반에서 AI 기술을 더 광범위하고 더 자주 배포할 수 있게 되어 예산이 제한된 스타트업을 비롯한 다양한 비즈니스에서 AI에 접근할 수 있게 되었습니다.이러한 공동 노력은 시장 점유율을 확보할 수 있는 솔루션 제공업체에 경제적 이익을 가져다 줄 뿐만 아니라 AI 애플리케이션을 지속 가능하고 포괄적으로 발전시키는 데 중요한 하드웨어 및 소프트웨어 개발의 기술 혁신에도 박차를 가합니다.

추론 비용의 기술적 요인

신경망의 깊이와 폭을 포함하는 모델의 구조적 복잡성은 추론 비용에 직접적인 영향을 미칩니다.레이어와 파라미터가 더 많은 복잡한 모델은 각 추론 요청을 처리하기 위해 더 많은 메모리뿐만 아니라 더 많은 계산 능력을 필요로 합니다.

플롭스 요구 사항

• 계산 강도: AI 모델, 특히 GPT-4 또는 Llama-2와 같은 딥 러닝 모델에는 FLOPS 단위로 측정되는 상당한 양의 계산 능력이 필요합니다.이 지표는 시스템이 초당 수행할 수 있는 부동 소수점 연산의 수를 나타내며, 이는 이러한 모델을 실행하는 데 필요한 실현 가능성과 비용을 결정하는 데 매우 중요합니다.
• 비용 영향: 추론 비용은 모델의 FLOPS 요구 사항에 크게 영향을 받습니다.FLOPS가 높을수록 초당 계산이 더 복잡해져 계산 리소스와 에너지 사용이 증가하고 결과적으로 운영 비용이 증가합니다.

애플리케이션별 처리 비용

AI 애플리케이션의 경우 주로 데이터 복잡성 및 처리 요구 사항의 차이로 인해 텍스트, 이미지 및 비디오와 같은 다양한 데이터 유형에 따라 추론 비용이 크게 달라집니다.

• 텍스트 처리: 텍스트 기반 추론은 주로 각 텍스트 (단어 또는 단어의 일부) 가 토큰인 토큰 처리에 따라 달라집니다.텍스트의 계산 비용은 데이터 구조가 덜 복잡하기 때문에 이미지 또는 비디오에 비해 일반적으로 데이터 단위당 계산 비용이 저렴합니다.그러나 텍스트 길이와 모델의 파라미터 크기가 필요한 FLOPS를 증가시켜 비용에 영향을 미칠 수 있습니다.예를 들어, GPT-4 같은 모델에서 512 토큰 입력을 처리할 때는 고해상도 이미지 분석에 비해 훨씬 적은 계산 리소스가 필요하므로 텍스트 추론은 일반적으로 계산 요구 사항 측면에서 비용이 덜 들 수 있습니다.
• 픽셀 처리: 이미지 및 비디오 처리 모델의 경우 비용은 처리할 픽셀 데이터의 양과 해상도에 따라 달라집니다.해상도가 높은 이미지와 비디오는 분석하는 데 당연히 더 많은 계산 능력이 필요하므로 필요한 FLOPS가 증가하고 그에 따른 비용도 증가합니다.
• 이미지/비디오 생성: 디지털 아트 생성, 의료 영상 및 가상 디자인과 같은 애플리케이션에서 활용되는 이미지 생성 작업의 경우 계산 비용은 주로 생성되는 이미지의 해상도와 복잡성에 따라 달라집니다.비디오 생성은 기본적으로 초당 여러 이미지 (프레임) 를 생성해야 하므로 복잡성과 비용이 증가합니다.예를 들어 1080p 해상도와 초당 30프레임의 10초짜리 비디오 클립을 생성하려면 최대 300개의 개별 프레임을 처리해야 하는 계산 부하가 곱해지기 때문에 훨씬 더 까다롭고 비용이 많이 들 수 있습니다.이 프로세스는 계산 부하에 초당 생성되는 프레임 수를 곱할 뿐만 아니라 생성된 비디오의 부드러움과 연속성을 보장하기 위해 시간적 일관성 및 프레임 보간과 관련된 비용을 추가합니다.비디오 생성에 사용되는 모델은 시간적 역학을 통합하여 순차적 프레임 데이터에서 작동하는 경우가 많으며, 이로 인해 계산 오버헤드가 증가합니다.

추론 가격 동태

기업은 서비스 제공업체가 제공하는 가격 책정 모델을 운영 요구 사항 및 재무 목표에 맞게 조정하고 유연성, 비용 효율성 및 예측 가능성을 결합하여 기술 투자를 극대화하는 데 점점 더 능숙해지고 있습니다.

추론 가격 책정 모델 유형:

• 컴퓨팅 시간: 수수료는 작업당 필요한 처리 시간을 기준으로 하며 처리 단위 및 지역 선택에 따라 달라집니다.예를 들어 AWS의 EC2 서비스에서 NVIDIA Tesla V100과 같은 GPU 인스턴스를 사용하는 경우 지역 및 특정 인스턴스 구성에 따라 시간당 약 3.06 USD의 요금이 부과될 수 있습니다.
• 쿼리 볼륨: 공급자는 실행된 개별 추론당 요금을 부과할 수 있으며, 이는 사용자 집약적인 애플리케이션에서 빠르게 누적될 수 있습니다.예를 들어 매월 처음 100만 개의 쿼리에 대한 요금은 1,000개 쿼리당 1.50 USD부터 시작할 수 있습니다.
• 데이터 전송 요금: AI 처리 환경에서 데이터 수신 및 송신을 위해 발생하는 비용, 특히 클라우드 기반 배포에서 중요합니다.예를 들어 한 회사에서 매월 첫 10TB에 대해 GB당 약 0.087 USD를 청구할 수 있습니다.

AWS, Google Cloud 및 Azure와 같은 대규모 클라우드 공급자는 확장 가능한 인프라를 제공하며 규모의 경제를 활용하여 특정 이점을 제공할 수 있습니다.하지만 요금 모델은 복잡하고 예측하기 어려울 수 있습니다.소규모 공급업체는 더 투명하고 때로는 더 경제적인 옵션을 제공하는 경우가 많지만 대규모 경쟁업체가 제공하는 광범위한 인프라와 확장성이 부족할 수 있습니다.

추론 비용 절감을 위한 고급 솔루션

AI 추론 비용을 효과적으로 낮추기 위해 기업들은 다양한 기술 영역에서 혁신을 적극적으로 추구하고 있습니다.이러한 의미에서의 비용 최적화는 일반적으로 더 빠른 추론/짧은 지연 시간 또는 컴퓨팅 리소스의 보다 효율적인 사용에서 비롯됩니다.비용 절감에 기여하는 몇 가지 주요 개선 사항은 다음과 같습니다.

하드웨어 최적화:

• GPU 개발: Google의 TPU (텐서 처리 장치) 및 NVIDIA의 텐서 코어 (예: A100 및 H100) 와 같은 예시는 특히 딥 러닝 모델에서 가장 일반적으로 사용되는 계산 유형을 가속화하는 데 중점을 둡니다.이러한 속도는 데이터를 더 많이 병렬 처리할 수 있는 아키텍처 개선을 통해 달성되며, 이는 AI에서 일반적으로 사용되는 대규모 데이터 세트를 처리하는 데 필수적입니다.GPU 공급업체는 더 효율적인 머신을 생산하기 위해 지속적으로 한계를 넓히고 있습니다.
• 에너지 효율성: 기업은 각 계산에 필요한 전력을 줄임으로써 추론당 비용을 크게 줄여 엄청난 에너지 비용을 들이지 않고도 AI 기술을 보다 광범위하고 지속적으로 사용할 수 있습니다.또한 최신 하드웨어 모델에는 향상된 열 분산 기술이 통합되는 경우가 많기 때문에 에너지 효율성이 더욱 향상되고 데이터 센터의 값비싼 냉각 시스템 필요성이 줄어듭니다.이러한 고속, 저전력 소비 및 냉각 요구 사항 감소의 조합은 전반적인 운영 비용 절감에 크게 기여합니다.그러면 클라우드 제공업체는 추론 비용 절감의 형태로 최종 고객에게 비용 절감 효과를 전가할 수 있습니다.

소프트웨어 최적화:

• 모델 양자화: 이 기법은 계산에 사용되는 숫자의 정밀도 (부동 소수점 정밀도에서 하위 비트 정수로) 를 줄여 모델 크기를 줄이고 정확도를 크게 잃지 않으면서 추론 속도를 높입니다.양자화는 모델을 더 가볍고 빠르게 만들어 필요한 계산 리소스를 줄입니다.
• 모델 프루닝: 프루닝에는 모델에서 중복되거나 중요하지 않은 가중치를 제거하는 작업이 포함되며, 이를 통해 신경망의 복잡성과 크기를 크게 줄일 수 있습니다.이 간소화된 버전의 모델은 실행하는 데 필요한 계산 능력이 적기 때문에 에너지 사용량과 추론 시간이 모두 줄어듭니다.

미들웨어 개선 사항:

• 모델 서빙 프레임워크: NVIDIA의 Triton Inference Server와 같은 도구는 다중 모델 서비스, 동적 배치 및 GPU 공유를 지원하여 AI 모델 배포를 최적화합니다.이러한 기능은 GPU 리소스의 처리량과 효율성을 개선하여 운영 비용을 절감하는 데 도움이 됩니다.
• 로드 밸런싱 기법: 고급 로드 밸런싱 알고리즘은 추론 요청이 사용 가능한 컴퓨팅 리소스 전체에 효율적으로 분산되도록 하여 병목 현상을 방지하고 하드웨어 활용도를 극대화합니다.

API 관리:

• 관리형 AI 서비스: 클라우드 공급자는 기본 인프라 복잡성을 추상화하고 확장성을 관리하는 API를 통해 AI 서비스를 제공합니다.이 모델을 사용하면 기업은 물리적 서버 및 데이터 센터를 교육하거나 관리하는 오버헤드 없이 필요한 추론 계산에 대해서만 비용을 지불하면 됩니다.
• Auto Scaling: 최신 API 관리 플랫폼에는 수요에 따라 활성 서버 인스턴스의 수를 자동으로 확장하는 기능이 포함되어 있습니다.즉, 수요가 적은 기간에는 사용되는 리소스가 적어 비용이 절감됩니다.반대로 수요가 최고조에 달할 때는 리소스를 영구적으로 할당하지 않고도 시스템을 확장하여 일관된 성능을 보장할 수 있습니다.

신속한 엔지니어링:

• 컴퓨팅 오버헤드 감소: 효율적인 프롬프트는 가장 적은 수의 토큰 또는 처리 단계로 AI 모델에서 가장 관련성이 높은 정보를 도출하도록 설계되었습니다.이렇게 하면 처리되는 데이터의 양이 직접 줄어들어 필요한 계산 능력이 줄어듭니다.예를 들어, 프롬프트를 잘 설계하면 후속 질문이나 설명이 필요 없어 프로세스를 단일 추론 주기로 간소화할 수 있습니다.
• 지연 시간 및 처리 시간 최소화: 신속한 엔지니어링은 필요한 계산의 복잡성을 줄임으로써 응답 시간의 지연 시간을 줄일 수도 있습니다.이는 사용자 경험을 개선할 뿐만 아니라 처리되는 각 쿼리의 에너지 소비 및 관련 비용을 최소화합니다.

이러한 혁신은 AI 모델 실행과 관련된 비용을 줄이고 광범위한 애플리케이션에서 AI의 접근성과 지속 가능성을 높이는 데 필수적입니다.각 접근 방식은 초기 계산부터 모델 배포 및 상호 작용 방식에 이르기까지 추론 프로세스의 다양한 측면을 다루며 효율성을 최적화하고 비용을 절감하기 위한 포괄적인 노력을 보여줍니다.

GMI 클라우드의 전략

간소화된 운영 효율성:

GMI Cloud는 수직 통합 구조를 활용하여 AI 서비스의 배포 및 관리를 간소화합니다.예를 들어 GMI Cloud는 특정 AI 워크로드에 맞게 조정된 NVIDIA GPU를 GPU 활용도를 극대화하는 맞춤형 소프트웨어와 함께 사용할 수 있습니다.GMI Cloud는 하드웨어 선택부터 소프트웨어 개발 및 배포에 이르기까지 전체 스택을 관리함으로써 여러 공급업체의 구성 요소를 통합할 때 흔히 발생하는 비효율성을 제거합니다.이러한 접근 방식은 설정 및 확장 프로세스의 속도를 높일 뿐만 아니라 운영 복잡성과 비용을 크게 줄여줍니다.

고급 소프트웨어 스택

GMI Cloud는 추론을 더 쉽고 효율적으로 실행할 수 있는 강력한 소프트웨어 플랫폼을 구축했습니다.몇 가지 주요 기능은 다음과 같습니다.

• 멀티테넌트 쿠버네티스 환경: GMI Cloud는 멀티테넌트 쿠버네티스 클러스터를 활용하여 컨테이너화된 AI 워크로드를 고효율로 오케스트레이션하여 인프라 비용을 크게 절감합니다.이러한 환경에서는 테넌트당 정확한 리소스 격리 및 사용률 메트릭이 가능하므로 리소스 낭비 없이 최적의 할당이 보장됩니다.쿠버네티스는 CPU 및 GPU 리소스를 동적으로 오케스트레이션하여 워크로드 스파이크를 효과적으로 처리합니다.예를 들어 AI 모델 재교육 또는 배치 추론 작업 중에 Kubernetes는 GPU 사용률과 같은 실시간 메트릭이나 대기열 길이와 같은 사용자 지정 메트릭을 기반으로 하는 Horizontal Pod Autoscaling을 사용하여 리소스를 탄력적으로 확장할 수 있습니다.예를 들어, 일반적인 배포는 최대 부하 시 2개의 GPU 인스턴스를 사용하다가 10개로 확장했다가 다시 축소하여, 사용되는 인스턴스 유형에 따라 추론 작업당 비용을 잠재적으로 시간당 수백 달러에서 1달러 미만으로 최적화할 수 있습니다.
• InfiniBand 연결 컨테이너화: InfiniBand 아키텍처는 GMI Cloud의 컨테이너화된 환경에서 상당한 이점을 제공하며, AI 데이터 처리량 수요에 중요한 짧은 지연 시간과 높은 처리량 연결을 제공합니다.InfiniBand는 최대 200Gbps의 대역폭과 마이크로초 미만의 지연 시간을 지원하는데, 이는 병렬 비디오 처리 또는 여러 노드에 걸친 대규모 기계 학습 알고리즘에 사용되는 것과 같은 분산 AI 모델의 통신 오버헤드를 줄이는 데 매우 중요합니다.InfiniBand를 구현하면 노드 간 데이터 전송이 CPU를 우회하여 메모리에 직접 액세스하므로 지연 시간과 CPU 부하가 크게 줄어듭니다.이 설정은 신경망의 대규모 텐서 연산과 관련된 시간 및 계산 오버헤드를 최소화하여 특히 고해상도 이미지 분석이나 실시간 비디오 스트리밍 분석과 관련된 사용 사례에서 프레임당 또는 쿼리당 추론 비용을 줄입니다.
• NVIDIA 네트워크 인터페이스 마이크로서비스 (NIM) 와의 호환성: NVIDIA NIM을 통합하면 GPU 가속 작업에 맞게 특별히 조정된 GMI Cloud 인프라 내의 네트워크 효율성이 크게 향상됩니다.NIM은 다중 노드 배포에서 데이터 경로를 최적화하고 정체를 관리하는 고급 네트워킹 기능을 제공합니다. 이는 대규모 분산 AI 애플리케이션의 처리량을 유지하는 데 매우 중요합니다.예를 들어, GPU 간 통신이 빈번하고 집약적인 Transformer와 같은 복잡한 모델을 실행하는 환경에서 NIM은 추론 및 학습 단계를 가속화하는 데 핵심인 지터를 줄이고 대역폭 활용도를 개선하는 데 도움이 됩니다.네트워크 효율성이 향상되어 각 노드가 GPU (예: 최대 900GB/s를 제공하는 NVLink를 탑재한 NVIDIA의 H100 GPU 포함) 의 최대 이론적 성능으로 데이터를 처리할 수 있으므로 데이터 포인트당 추론 시간이 크게 단축되어 자연어 처리 작업을 위한 GPT 또는 비디오 생성을 위한 Sora와 같은 고급 AI 모델을 실행하는 데 드는 비용이 절감됩니다.

산업별 사용자 지정:

GMI Cloud는 산업별 맞춤화를 제공하여 고객 운영을 개선합니다. 이를 통해 하드웨어와 소프트웨어가 모두 의료, 금융 또는 소매업과 같은 고유한 부문 수요에 맞게 복잡하게 조정되도록 합니다.이러한 맞춤형 접근 방식은 효율성을 높이고 AI 기반 프로세스를 가속화할 뿐만 아니라 불필요한 컴퓨팅 워크로드와 에너지 소비를 줄여 운영 비용을 크게 절감합니다.고객은 특정 산업 요구에 맞게 조정된 최적화된 성능의 이점을 누릴 수 있습니다.또한 이러한 맞춤형 솔루션은 확장성을 제공하여 기업이 기술에 대한 상당한 재투자 없이 새로운 과제에 적응하고 성장할 수 있도록 합니다.궁극적으로 이러한 전략적 초점을 통해 GMI Cloud의 고객은 일반 대안보다 성능이 우수하고 추론 비용을 절감하는 최적화된 AI 솔루션을 활용하여 경쟁 우위를 확보할 수 있습니다.

결론

추론 비용을 낮추면 기업이 장기 운영 비용을 줄여 수익성을 높이고, AI 솔루션을 보다 효과적으로 확장하고, AI 기반 서비스를 보다 경제적으로 실행 가능하게 만들어 경쟁 우위를 제공할 수 있습니다.

보다 정교하고 비용 효율적인 추론 솔루션의 지속적인 개발은 다양한 부문에 걸쳐 새로운 가능성을 열어 혁신과 경쟁력을 주도할 것입니다.기업은 운영을 혁신할 뿐만 아니라 AI 기술에 대한 액세스를 대중화할 수 있는 접근성이 뛰어나고 효율적이며 강력한 AI 도구를 기대할 수 있습니다.

참고 문헌

• https://www.factorialfunds.com/blog/under-the-hood-how-openai-s-sora-model-works
• https://research.ibm.com/blog/AI-inference-explained
• https://hbr.org/2023/11/what-ceos-need-to-know-about-the-costs-of-adopting-genai
• https://www.tensorops.ai/post/understanding-the-cost-of-large-language-models-llms