如何在 GMI Cloud 上使用 Llama 3（70b 和 8b）进行推理

Why managing AI risk presents new challenges

Aliquet morbi justo auctor cursus auctor aliquam. Neque elit blandit et quis tortor vel ut lectus morbi. Amet mus nunc rhoncus sit sagittis pellentesque eleifend lobortis commodo vestibulum hendrerit proin varius lorem ultrices quam velit sed consequat duis. Lectus condimentum maecenas adipiscing massa neque erat porttitor in adipiscing aliquam auctor aliquam eu phasellus egestas lectus hendrerit sit malesuada tincidunt quisque volutpat aliquet vitae lorem odio feugiat lectus sem purus.

Lorem ipsum dolor sit amet consectetur lobortis pellentesque sit ullamcorpe.
Mauris aliquet faucibus iaculis vitae ullamco consectetur praesent luctus.
Posuere enim mi pharetra neque proin condimentum maecenas adipiscing.
Posuere enim mi pharetra neque proin nibh dolor amet vitae feugiat.

The difficult of using AI to improve risk management

Viverra mi ut nulla eu mattis in purus. Habitant donec mauris id consectetur. Tempus consequat ornare dui tortor feugiat cursus. Pellentesque massa molestie phasellus enim lobortis pellentesque sit ullamcorper purus. Elementum ante nunc quam pulvinar. Volutpat nibh dolor amet vitae feugiat varius augue justo elit. Vitae amet curabitur in sagittis arcu montes tortor. In enim pulvinar pharetra sagittis fermentum. Ultricies non eu faucibus praesent tristique dolor tellus bibendum. Cursus bibendum nunc enim.

Id suspendisse massa mauris amet volutpat adipiscing odio eu pellentesque tristique nisi.

How to bring AI into managing risk

Mattis quisque amet pharetra nisl congue nulla orci. Nibh commodo maecenas adipiscing adipiscing. Blandit ut odio urna arcu quam eleifend donec neque. Augue nisl arcu malesuada interdum risus lectus sed. Pulvinar aliquam morbi arcu commodo. Accumsan elementum elit vitae pellentesque sit. Nibh elementum morbi feugiat amet aliquet. Ultrices duis lobortis mauris nibh pellentesque mattis est maecenas. Tellus pellentesque vivamus massa purus arcu sagittis. Viverra consectetur praesent luctus faucibus phasellus integer fermentum mattis donec.

Pros and cons of using AI to manage risks

Commodo velit viverra neque aliquet tincidunt feugiat. Amet proin cras pharetra mauris leo. In vitae mattis sit fermentum. Maecenas nullam egestas lorem tincidunt eleifend est felis tincidunt. Etiam dictum consectetur blandit tortor vitae. Eget integer tortor in mattis velit ante purus ante.

Vestibulum faucibus semper vitae imperdiet at eget sed diam ullamcorper vulputate.
Quam mi proin libero morbi viverra ultrices odio sem felis mattis etiam faucibus morbi.
Tincidunt ac eu aliquet turpis amet morbi at hendrerit donec pharetra tellus vel nec.
Sollicitudin egestas sit bibendum malesuada pulvinar sit aliquet turpis lacus ultricies.

“Lacus donec arcu amet diam vestibulum nunc nulla malesuada velit curabitur mauris tempus nunc curabitur dignig pharetra metus consequat.”

Benefits and opportunities for risk managers applying AI

GMI Cloud 提供了一个强大的平台，可简化训练、微调和推理，使用户只需点击几下即可部署人工智能策略。除了提供对来自NVIDIA的顶级GPU的即时访问外，我们的服务堆栈还包括与一些主要的开源LLM（例如Llama 3）的兼容性。这篇博文将指导你完成在GMI Cloud上使用Llama 3进行推理的过程，重点介绍该平台的独特优势和Llama 3的主要功能。

在 GMI Cloud 上使用 Llama 3 进行推理

只需点击几下即可开始使用Llama 3的分步指南：

1。登录 GMI 云平台

创建账户或使用之前创建的账户登录

2。启动容器

使用页面左侧的导航栏导航到 “容器” 页面
点击右上角的 “启动容器” 按钮

3.选择您的模型模板和参数

在第一个下拉菜单中，选择 Llama 3 作为您的模板。GMI Cloud 提供 Llama 3 70b 和 8b 型号的访问权限
在 “选择硬件资源” 部分下，选择要部署的硬件类型，例如 NVIDIA H100。这将自动填充某些参数
输入存储、身份验证和容器名称的详细信息

4。连接到 Jupyter 笔记本：

返回 “容器” 页面，您将能够看到刚才使用您提供的容器名称创建的容器
单击 Jupyter 笔记本图标连接到您的容器

5。开始测试和推断

在 Jupyter Notebook 工作区中，你可以使用 Llama 3 开始测试和推理

Llama 3 的主要特点：

Llama 3 代表了 Meta 的下一代开源大型语言模型，旨在突破 AI 能力的界限。以下是一些关键功能和规格，使Llama 3成为开发人员和研究人员的绝佳选择：

模型变体：

模型尺寸：Llama 3 包括具有 80 亿 (8B) 和 700 亿 (70B) 参数的模型，专为各种用例量身定制。
性能：这些模型在行业基准测试中展示了最先进的性能，并提供了更好的推理能力。

设计和建筑：

令牌生成器：使用具有 128K 代币词汇表的分词器，从而提高语言编码的效率。
推理效率：具有分组查询注意力 (GQA) 功能，可提高推理效率，尤其是在8B和70B模型中。
序列长度：根据多达 8,192 个令牌的序列进行训练，确保可靠地处理更长的上下文。

训练数据：

规模：使用超过 15 万亿个代币进行预训练，比用于 Llama 2 的数据集大七倍。
多样性：包括很大一部分高质量的非英语数据，涵盖30多种语言。
质量：利用高级数据筛选管道来确保最高质量的训练数据，包括启发式过滤器、NSFW 过滤器、语义重复数据删除和文本分类器。

预训练和微调：

预训练：涉及通过详细的扩展规律进行大规模扩展，以优化数据组合和训练计算，实现超过95％的有效训练时间。
微调：整合了监督式微调、拒绝抽样、近端策略优化 (PPO) 和直接偏好优化 (DPO)，以增强推理和编码任务的性能。

信任与安全：

安全工具：推出了 Llama Guard 2、Code Shield 和 CyberSec Eval 2 等新工具，以确保负责任地使用和部署。
Red Teaming：通过内部和外部的红队合作，进行了广泛的安全测试，以降低与滥用相关的风险。

为什么选择 GMI Cloud

可访问性：

GMI Cloud 确保广泛访问最新的 NVIDIA GPU，包括 H100 和 H200 型号。利用我们在亚洲的数据中心以及作为认证合作伙伴与 NVIDIA 的深厚关系，我们提供无与伦比的 GPU 访问权限，以满足您的 AI 和机器学习需求。

易用性：

我们的平台通过专为编排、虚拟化和容器化而设计的丰富软件堆栈来简化人工智能部署。GMI Cloud 解决方案与 TensorRT 等英伟达工具兼容，并附带预建镜像，可轻松入门和高效管理人工智能工作流程。

性能：

GMI Cloud 提供训练、推理和微调 AI 模型所必需的高性能计算。我们的基础设施经过优化，可确保经济高效的运营，使您可以最大限度地发挥 Llama 3 等模型的潜力。

治理：

我们提供强大的多租户安全和控制机制，以确保最高级别的数据安全性和合规性。我们的平台旨在保护您的数据并维持严格的治理标准，让您在扩展 AI 解决方案时高枕无忧。

GMI Cloud 为您的所有 AI 需求提供全面而强大的环境，使其成为部署 Llama 3 等高级模型的理想选择。借助我们的集成解决方案，您可以简化人工智能流程，提高性能并确保运营的安全性和合规性。

‍