如何在 GMI 雲端上使用 NVIDIA NIM 優化人工智慧推論

Why managing AI risk presents new challenges

Aliquet morbi justo auctor cursus auctor aliquam. Neque elit blandit et quis tortor vel ut lectus morbi. Amet mus nunc rhoncus sit sagittis pellentesque eleifend lobortis commodo vestibulum hendrerit proin varius lorem ultrices quam velit sed consequat duis. Lectus condimentum maecenas adipiscing massa neque erat porttitor in adipiscing aliquam auctor aliquam eu phasellus egestas lectus hendrerit sit malesuada tincidunt quisque volutpat aliquet vitae lorem odio feugiat lectus sem purus.

Lorem ipsum dolor sit amet consectetur lobortis pellentesque sit ullamcorpe.
Mauris aliquet faucibus iaculis vitae ullamco consectetur praesent luctus.
Posuere enim mi pharetra neque proin condimentum maecenas adipiscing.
Posuere enim mi pharetra neque proin nibh dolor amet vitae feugiat.

The difficult of using AI to improve risk management

Viverra mi ut nulla eu mattis in purus. Habitant donec mauris id consectetur. Tempus consequat ornare dui tortor feugiat cursus. Pellentesque massa molestie phasellus enim lobortis pellentesque sit ullamcorper purus. Elementum ante nunc quam pulvinar. Volutpat nibh dolor amet vitae feugiat varius augue justo elit. Vitae amet curabitur in sagittis arcu montes tortor. In enim pulvinar pharetra sagittis fermentum. Ultricies non eu faucibus praesent tristique dolor tellus bibendum. Cursus bibendum nunc enim.

Id suspendisse massa mauris amet volutpat adipiscing odio eu pellentesque tristique nisi.

How to bring AI into managing risk

Mattis quisque amet pharetra nisl congue nulla orci. Nibh commodo maecenas adipiscing adipiscing. Blandit ut odio urna arcu quam eleifend donec neque. Augue nisl arcu malesuada interdum risus lectus sed. Pulvinar aliquam morbi arcu commodo. Accumsan elementum elit vitae pellentesque sit. Nibh elementum morbi feugiat amet aliquet. Ultrices duis lobortis mauris nibh pellentesque mattis est maecenas. Tellus pellentesque vivamus massa purus arcu sagittis. Viverra consectetur praesent luctus faucibus phasellus integer fermentum mattis donec.

Pros and cons of using AI to manage risks

Commodo velit viverra neque aliquet tincidunt feugiat. Amet proin cras pharetra mauris leo. In vitae mattis sit fermentum. Maecenas nullam egestas lorem tincidunt eleifend est felis tincidunt. Etiam dictum consectetur blandit tortor vitae. Eget integer tortor in mattis velit ante purus ante.

Vestibulum faucibus semper vitae imperdiet at eget sed diam ullamcorper vulputate.
Quam mi proin libero morbi viverra ultrices odio sem felis mattis etiam faucibus morbi.
Tincidunt ac eu aliquet turpis amet morbi at hendrerit donec pharetra tellus vel nec.
Sollicitudin egestas sit bibendum malesuada pulvinar sit aliquet turpis lacus ultricies.

“Lacus donec arcu amet diam vestibulum nunc nulla malesuada velit curabitur mauris tempus nunc curabitur dignig pharetra metus consequat.”

Benefits and opportunities for risk managers applying AI

本文是 GMI 雲端技術示範系列的一部分。

隨著 ChatGPT 4o 最近發布，AI 語音代理已成為公眾眼睛的前線。然而，對於許多企業來說，這種形式的 AI 已經成為通過自動化和增強客戶互動以及簡化內部營運來推動增長和獲利的工具來推動增長和獲利的工具。在本文中，我們將討論如何使用 GMI Cloud 創建 AI 語音代理程序 — 在一個地方集中您需要的所有工具。

使用 GMI 雲端建立人工智慧語音代理程式

AI 語音代理在核心上與 LLM 類似，但需要額外的層來抽象回應作為語音。語音代理需要將語音作為輸入，使用 LLM 處理，然後使用語音傳回響應。可以使用其他引擎來自定義響應並添加情緒和中斷管理等功能。GMI Cloud 已經組裝了使用現有的開放原始碼模型構建 AI 語音代理程式所需的所有軟體層。

演示視頻

分步指南：

1.登入 GMI 雲端平台

建立帳戶或使用先前建立的帳戶登入

二.啟動容器

使用頁面左側的導覽列導覽至「容器」頁面
點擊右上角的「啟動容器」按鈕

三.選擇您的模型範本和參數

在第一個下拉式功能表中，選取包含 ASR 和 TTS 的 GMI Cloud 語音代理程式範本。（在演示中，我們使用 Chat GLM 6B 作為代理商的 LM，但這可以用 Llama 3 等任何模型替換）
在「選取硬體資源」區段下，選取要部署的硬體類型，例如 NVIDIA H100。這將自動填入某些參數
輸入儲存空間、驗證和容器名稱的詳細資訊

4.啟動容器：

在頁面底部點擊「啟動容器」
返回「容器」頁面，您將能夠看到您剛剛用提供的容器名稱創建的容器
點擊 Jupyter 筆記本圖示以連接到您的容器
在這裡，您可以導入通用庫並輸入擁抱的臉部令牌

5.添加其他功能和測試

在 Jupyter 筆記本工作區中，添加轉錄和語音響應功能
使用 Gradio 用戶界面執行函數
在公用 UI 上執行以進行測試

AI 語音代理程式的新來臨：改變互動與營運

AI 語音代理程式的使用案例非常廣泛。簡而言之，任何基於對話的服務或功能現在理論上都可以使用 AI 語音代理來完成。

以下是 AI 語音代理可以做什麼來使企業受益的幾個例子：

消除對廣泛的呼叫中心和多語言人員的需求，使企業能夠擴大其全球範圍，並提供 24/7 高質量的服務，而不會比例增加成本。據估計，大規模 AI 可以將客戶服務生產力提高 30-50%。
簡化銷售流程，例如潛在客戶資格、跟進排程和 CRM 系統的資料輸入，從而提高銷售效率和資料準確性高達 10%。
作為高管和其他員工的超強個人助理
釋放人力員工處理更複雜的任務，並降低營運成本。例如，使用語音代理程式處理常見的人力資源要求，或針對 IT 的疑難排解。

為什麼選擇 GMI 雲

無障礙：

GMI 雲端可確保廣泛存取最新的 NVIDIA GPU，包括 H100 和 H200 型號。利用我們位於亞洲的資料中心，以及與 NVIDIA 作為認證合作夥伴的深厚關係，我們提供無與倫比的 GPU 存取，以滿足您的 AI 和機器學習需求。

易於使用：

我們的平台透過專為協調、虛擬化和容器化設計的豐富軟體堆疊，簡化 AI 部署。GMI 雲端解決方案與如 TensorRT 之類的 NVIDIA 工具相容，並附有預先建置的映像，讓您輕鬆開始使用並有效率地管理 AI 工作流程。

性能：

GMI Cloud 提供訓練、推論和微調 AI 模型的必要高性能運算。我們的基礎設施經過優化，以確保具有成本效益和高效的營運，使您可以最大限度地發揮 Llama 3 這樣的機型的潛力。

GMI Cloud 為您的所有 AI 需求提供全堆疊的 AI 平台，使其成為構建功能，例如需多層功能的語音代理程序等功能的理想選擇。借助我們的整合解決方案，您可以簡化 AI 流程，提高效能，並確保營運的安全性和合規性。

資源

‍