GMI 클라우드에서 라마 3 (70b 및 8b) 을 사용하여 추론하는 방법

Why managing AI risk presents new challenges

Aliquet morbi justo auctor cursus auctor aliquam. Neque elit blandit et quis tortor vel ut lectus morbi. Amet mus nunc rhoncus sit sagittis pellentesque eleifend lobortis commodo vestibulum hendrerit proin varius lorem ultrices quam velit sed consequat duis. Lectus condimentum maecenas adipiscing massa neque erat porttitor in adipiscing aliquam auctor aliquam eu phasellus egestas lectus hendrerit sit malesuada tincidunt quisque volutpat aliquet vitae lorem odio feugiat lectus sem purus.

Lorem ipsum dolor sit amet consectetur lobortis pellentesque sit ullamcorpe.
Mauris aliquet faucibus iaculis vitae ullamco consectetur praesent luctus.
Posuere enim mi pharetra neque proin condimentum maecenas adipiscing.
Posuere enim mi pharetra neque proin nibh dolor amet vitae feugiat.

The difficult of using AI to improve risk management

Viverra mi ut nulla eu mattis in purus. Habitant donec mauris id consectetur. Tempus consequat ornare dui tortor feugiat cursus. Pellentesque massa molestie phasellus enim lobortis pellentesque sit ullamcorper purus. Elementum ante nunc quam pulvinar. Volutpat nibh dolor amet vitae feugiat varius augue justo elit. Vitae amet curabitur in sagittis arcu montes tortor. In enim pulvinar pharetra sagittis fermentum. Ultricies non eu faucibus praesent tristique dolor tellus bibendum. Cursus bibendum nunc enim.

Id suspendisse massa mauris amet volutpat adipiscing odio eu pellentesque tristique nisi.

How to bring AI into managing risk

Mattis quisque amet pharetra nisl congue nulla orci. Nibh commodo maecenas adipiscing adipiscing. Blandit ut odio urna arcu quam eleifend donec neque. Augue nisl arcu malesuada interdum risus lectus sed. Pulvinar aliquam morbi arcu commodo. Accumsan elementum elit vitae pellentesque sit. Nibh elementum morbi feugiat amet aliquet. Ultrices duis lobortis mauris nibh pellentesque mattis est maecenas. Tellus pellentesque vivamus massa purus arcu sagittis. Viverra consectetur praesent luctus faucibus phasellus integer fermentum mattis donec.

Pros and cons of using AI to manage risks

Commodo velit viverra neque aliquet tincidunt feugiat. Amet proin cras pharetra mauris leo. In vitae mattis sit fermentum. Maecenas nullam egestas lorem tincidunt eleifend est felis tincidunt. Etiam dictum consectetur blandit tortor vitae. Eget integer tortor in mattis velit ante purus ante.

Vestibulum faucibus semper vitae imperdiet at eget sed diam ullamcorper vulputate.
Quam mi proin libero morbi viverra ultrices odio sem felis mattis etiam faucibus morbi.
Tincidunt ac eu aliquet turpis amet morbi at hendrerit donec pharetra tellus vel nec.
Sollicitudin egestas sit bibendum malesuada pulvinar sit aliquet turpis lacus ultricies.

“Lacus donec arcu amet diam vestibulum nunc nulla malesuada velit curabitur mauris tempus nunc curabitur dignig pharetra metus consequat.”

Benefits and opportunities for risk managers applying AI

GMI Cloud는 학습, 미세 조정 및 추론을 간소화하는 강력한 플랫폼을 제공하여 사용자가 단 몇 번의 클릭만으로 AI 전략을 배포할 수 있도록 합니다.NVIDIA의 최상위 GPU에 대한 즉각적인 액세스를 제공하는 것 외에도 NVIDIA의 서비스 스택에는 Lama 3와 같은 일부 프리미어 오픈 소스 LLM과의 호환성이 포함됩니다.이 블로그 게시물에서는 GMI Cloud에서 Lama 3를 사용하여 추론하는 과정을 안내하고 Lama 3의 플랫폼 고유의 장점과 주요 기능을 소개합니다.

GMI 클라우드에서 라마 3를 사용한 추론

단 몇 번의 클릭만으로 Lama 3 사용을 시작할 수 있는 단계별 가이드:

1.GMI 클라우드 플랫폼에 로그인

계정 생성 또는 이전에 생성한 계정을 사용하여 로그인

2.컨테이너 실행

페이지 왼쪽의 탐색 막대를 사용하여 '컨테이너' 페이지로 이동합니다.
오른쪽 상단 모서리에 있는 '컨테이너 실행' 버튼을 클릭합니다.

3.모델 템플릿과 파라미터를 선택하세요

첫 번째 드롭다운 메뉴에서 Llama 3을 템플릿으로 선택합니다.GMI 클라우드에서는 라마 3 70b 및 8b 모델을 모두 이용할 수 있습니다.
'하드웨어 리소스 선택' 섹션에서 배포하려는 하드웨어 유형 (예: NVIDIA H100) 을 선택합니다.이렇게 하면 특정 매개변수가 자동으로 채워집니다.
스토리지, 인증 및 컨테이너 이름에 대한 세부 정보 입력

4.주피터 노트북에 연결:

'컨테이너' 페이지로 돌아가면 입력한 컨테이너 이름으로 방금 생성한 컨테이너를 볼 수 있습니다.
Jupyter Notebook 아이콘을 클릭하여 컨테이너에 연결합니다.

5.테스트 및 추론 시작

Jupyter Notebook 작업 공간 내에서 Lama 3를 사용하여 테스트 및 추론을 시작할 수 있습니다.

라마 3의 주요 특징:

Llama 3은 AI 기능의 경계를 넓히기 위해 설계된 차세대 Meta의 오픈 소스 대형 언어 모델입니다.Lama 3가 개발자와 연구자에게 탁월한 선택인 몇 가지 주요 기능 및 사양은 다음과 같습니다.

모델 변형:

모델 크기: 라마 3에는 광범위한 사용 사례에 맞게 조정된 80억 (8B) 및 700억 (70B) 매개 변수가 있는 모델이 포함되어 있습니다.
성능: 이 모델은 업계 벤치마크에서 최첨단 성능을 보여주고 향상된 추론 기능을 제공합니다.

설계 및 아키텍처:

토크나이저: 128K 토큰의 어휘를 가진 토크나이저를 활용하여 언어 인코딩의 효율성을 높입니다.
추론 효율성: 특히 8B 및 70B 모델에서 추론 효율성을 높이기 위해 그룹화된 쿼리 어텐션 (GQA) 기능을 제공합니다.
시퀀스 길이: 최대 8,192개 토큰의 시퀀스에 대해 학습하여 더 긴 컨텍스트에 대한 강력한 처리를 보장합니다.

교육 데이터:

규모: 라마 2에 사용된 데이터 세트보다 7배 더 큰 15조 개 이상의 토큰에 대해 사전 트레이닝되었습니다.
다양성: 30개 이상의 언어를 포괄하는 고품질 비영어 데이터의 상당 부분을 포함합니다.
품질: 고급 데이터 필터링 파이프라인을 활용하여 휴리스틱 필터, NSFW 필터, 시맨틱 중복 제거, 텍스트 분류기를 비롯한 최고 품질의 교육 데이터를 보장합니다.

사전 교육 및 미세 조정:

사전 교육: 데이터 믹스 및 교육 컴퓨팅을 최적화하기 위한 세부 규모 조정 법칙을 통한 광범위한 확장을 포함하여 95% 이상의 효과적인 교육 시간을 달성합니다.
미세 조정: 감독형 미세 조정, 거부 샘플링, 근위 정책 최적화 (PPO) 및 직접 기본 설정 최적화 (DPO) 를 통합하여 추론 및 코딩 작업의 성능을 향상시킵니다.

신뢰와 안전:

안전 도구: 책임감 있는 사용 및 배포를 보장하기 위해 라마 가드 2, 코드 쉴드, CyberSec Eval 2와 같은 새로운 도구를 도입했습니다.
레드 팀 구성: 오용과 관련된 위험을 완화하기 위해 내부 및 외부 레드 팀 구성 노력을 통해 광범위한 안전 테스트에 참여했습니다.

GMI 클라우드를 선택해야 하는 이유

접근성:

GMI Cloud는 H100 및 H200 모델을 포함한 최신 엔비디아 GPU에 대한 광범위한 액세스를 보장합니다.아시아에 기반을 둔 데이터 센터와 인증 파트너인 NVIDIA와의 긴밀한 관계를 활용하여 AI 및 머신 러닝 요구 사항을 충족하는 탁월한 GPU 액세스를 제공합니다.

사용 편의성:

당사의 플랫폼은 오케스트레이션, 가상화 및 컨테이너화를 위해 설계된 풍부한 소프트웨어 스택을 통해 AI 배포를 간소화합니다.GMI Cloud 솔루션은 TensorRT와 같은 NVIDIA 도구와 호환되며 사전 빌드된 이미지와 함께 제공되므로 AI 워크플로를 쉽게 시작하고 효율적으로 관리할 수 있습니다.

퍼포먼스:

GMI Cloud는 AI 모델의 학습, 추론 및 미세 조정에 필수적인 고성능 컴퓨팅을 제공합니다.Gloma 인프라는 비용 효율적이고 효율적인 운영을 보장하도록 최적화되어 있어 Lama 3와 같은 모델의 잠재력을 극대화할 수 있습니다.

거버넌스:

당사는 최고 수준의 데이터 보안 및 규정 준수를 보장하기 위해 강력한 멀티 테넌시 보안 및 제어 메커니즘을 제공합니다.당사의 플랫폼은 데이터를 보호하고 엄격한 거버넌스 표준을 유지하도록 설계되었으므로 AI 솔루션을 확장할 때 안심할 수 있습니다.

GMI Cloud는 모든 AI 요구 사항을 충족하는 포괄적이고 강력한 환경을 제공하므로 Lama 3와 같은 고급 모델을 배포하는 데 이상적입니다.통합 솔루션을 사용하면 AI 프로세스를 간소화하고 성능을 개선하며 운영의 보안 및 규정 준수를 보장할 수 있습니다.

‍