DeepSeek-R1: LLM市場を揺るがすオープンソースのチャレンジャー

まあこれはエキサイティングです: DeepSeek-R1はオープンソースの推論モデルです これは、複雑な問題解決タスクではOpenAIのトップに匹敵し、90〜95％手頃な価格です。このブレークスルーは、オープンソースAIの可能性の高まりと、それがクラウドコンピューティング環境に与える影響を浮き彫りにするものだと考えています。

論文はこちらで読むことができます。 DeepSeek-R1: 強化学習によるLLMにおける推論能力の促進。

ビジネスと実務家にとって重要なポイントは次のとおりです。

ビジネス:

• 費用: （OpenAIよりも）約 95% 安価であることで、高度なAI推論機能を使用する際のマージンが向上し、新興企業、研究者、予算に敏感な企業のアクセシビリティが向上します。これにより、手頃な価格が最大 20 倍になり、アクセシビリティが向上し、より多くの AI アプリケーションを作成できるようになることが予想されます。
• オープンソース: モデルは以下のようになります。 マサチューセッツ工科大学ライセンスこれにより、無料の商用および学術的使用が可能になります。これは、DeepSeek のモデルの上に構築することに関心のあるすべての人にとって非常に重要であり、DeepSeek の作成に使用された画期的な方法を他のオープンソースモデルに適用する機会にもなります。
• 特産品: ベンチマークを比較したところ、DeepSeek-R1は数学的推論とソフトウェアエンジニアリングタスクに優れているのに対し、OpenAIのo1は一般的な知識と問題解決において優れていることが示されています。
• 戦略的含意: 他のAIプロバイダーが、無料でオープンソースでリリースされたこの競争モデルの前で、価格戦略を再評価することを強く期待しています。

実践的含意:

• DeepSeekの調査結果は、より少ないリソースで高いパフォーマンスを提供する、特殊なタスク用のより小規模な抽出モデルの実行可能性を浮き彫りにしています。
• DeepSeek-R1のRLアプローチとコールドスタートアプローチの組み合わせは、複雑な推論の課題に取り組むためのスケーラブルで効果的な経路を提供します。

背景:AI 推論モデルの理解

推論モデルは、論理的推論、問題解決、意思決定を必要とするタスクに取り組むことで、AIを変革しています。従来のパターン認識モデルとは異なり、人間の認知を模倣しているため、数学、コーディング、科学研究などの複雑な分野の進歩が可能になります。

DeepSeek-R1 (DS-R1) は、強化学習の前にコールドスタートデータを統合する多段階トレーニングプロセスを用い、AI推論におけるブレークスルーです。これにより、非常に複雑なタスクの強固な基盤が確保されます。V3-Base モデルに基づいて構築されており、6,710億個のパラメータを持つ混合エキスパート (MoE) フレームワークが特徴で、トークンあたりアクティブになるのはわずか370億個で、最適な効率が得られます。この設計は、リソースの使用を最小限に抑えながらパフォーマンスを最大化するため、エンタープライズレベルのワークロードに最適です。

DeepSeekは、このモデルと、QwenおよびLlamaアーキテクチャに基づく6つの抽出バリアント（1.5B〜70Bのパラメーター）もオープンソース化しており、開発者に柔軟な展開オプションを提供しています。

ディープシーク R1 は OpenAI の o1 と比べてどうですか?

以下は、このホワイトペーパーで提供されているDeepSeek-R1のベンチマークパフォーマンスで、R1とOpenAI-O1-1217の比較を示しています。

• ディープシーク-R1の方が優れている...
  
  • 詳細な理由の表示： これにより、完全で透明な思考の連鎖（数万のトークン）が得られます。モデルが理性的な答え (エッジケースや意図しない結果を含む) を導き出すために使用する多面的な推論プロセスを見ることができるのは興味深いことです。
  • 費用対効果と開放性: ホスト版は無料で使用でき（1日の制限あり）、オープンにアクセスできます。ユーザーは次の場所からコピーすることもできます。 彼らの GitHub リポジトリ DS-R1を任意のAIインフラストラクチャーにデプロイできます。

• チャットGPT-O1の方が得意です...
  
  • 高度な科学タスク: 物理学、化学、生物学の分野で博士レベルに近いパフォーマンスを発揮します。
  • ハイレベルな競技パフォーマンス: IMO 認定試験では 83% の精度、コードフォースでは 89パーセンタイルの正解率を達成しています。

• 彼らは同じくらい得意です...
  
  • 数学とコーディング: どちらも複雑な数学（幾何学、組み合わせ論など）とプログラミングタスクをうまく処理します。
  • 一般的な論理的推論: どちらも多段階の論理問題を分解し、正しい解決策にたどり着くことができます。

2024年後半に発表されたOpenAIのo1シリーズは、モデルが応答を生成するまでの時間をかけて「考える」ことができるようにすることで、AI推論への新しいアプローチを導入しました。この強化により、o1 は科学、コーディング、数学において優れた能力を発揮できるようになりました。しかし、DeepSeek-R1はこれらのベンチマーク全体で競争力のあるパフォーマンスを示しており、主要な推論タスクにおけるo1の能力に匹敵します。

DeepSeek-R1とOpenAI独自のモデルが同等であることは、重要なワークロードにAIを活用したいと考えている企業にとって画期的なことです。DeepSeek-R1はオープンソースのソリューションであるため、アクセシビリティが向上し、組織はベンダーに縛られることなく強力な推論モデルを実験、カスタマイズ、導入できます。これは、オンデマンドで柔軟な GPU リソースを提供して AI イノベーションを促進するというGMI Cloudのビジョンと一致しています。

AI 開発への影響

DeepSeek-R1には明らかな欠点はないようですが、制限として考えられるものは次のとおりです。

• 限定的な追加微調整: 現在、このモデルに基づいて微調整や強化学習を行う公式な方法はありません。今後、これらのオープンソース化が実現することを楽しみにしています。
• 自発的な頑固さ： DS-R1は推論の点で非常に優れていますが、一部のテストでは、o1よりも「頑固」であることが示されており、トピックを拡張できない場合があります。
• 限定機能: DS-R1は推論タスクには優れていますが、関数呼び出し、複雑なロールプレイング、JSON出力などの分野ではDeepSeek-V3に遅れをとっています。今後の改善では、これらのタスクに思考連鎖 (CoT) 手法を活用することに重点が置かれるでしょう。
• 言語最適化：DS-R1は中国語と英語に最適化されているため、回答を作成する際に言語が混在します。
• プロンプトの制限事項: DS-R1は数ショットのプロンプト表示に苦労します。最適なパフォーマンスを得るには、現在ゼロショット設定が推奨されています。今後の作業では、プロンプトエンジニアリングを改良して使いやすさと堅牢性を向上させる予定です。

‍

ディープシーク R1: テクニカルの観察

教師付き微調整 (SFT) ではなく強化学習 (RL) に重点を置く

おそらく最も驚くべきセリフ: 「予備段階として教師あり微調整（SFT）に頼ることなく、RLをベースモデルに直接適用します。」— DeepSeek-R1ペーパー、4ページ

DeepSeek R1は、微調整をほぼ完全にRLに頼っているため、一般的なLLMトレーニングパターン（事前トレーニング+大規模SFT）とは大きく異なります。このアプローチにより、ラベル付けされた膨大なデータセットへの依存が最小限に抑えられ、モデルが自律的に「実践して学習」できるようになります。このパラダイムシフトにより、モデルは従来の「あらかじめ設定されたパターン」から脱却し、適応性、複雑な推論、自発的な学習において目覚ましい進歩を遂げます。

グループ相対ポリシー最適化によりRLのコストを削減

これが論文から私たちの目に留まり、DeepSeek-R1のトレーニングがこれほど費用対効果が高かった理由の少なくとも一部を説明できるかもしれません。

素人の言葉で言えば（これは理解してください） ただ 要約）：このモデルは、回答のグループについて一度に考え、それらを比較して各回答がどの程度比較的「良い」かを判断することによって教えられます。研究者は、より優れた回答を導き出すことでモデルに「報酬」を与えることで、RLのトレーニング費用を安く抑えることができます。

‍

創発的推論能力（自己検証、リフレクション、ロングチェーン推論）

純粋なRL体制のもと、DeepSeek R1は次のような高度な機能を自発的に開発しました。

• 自己検証: 回答を確定する前に、中間の推論ステップをチェックします。これは、学生が自分の課題を再確認するようなものです。
• 反射: 過去の推論を再検討し、エラーを特定し、それらの洞察に基づいてソリューションを改良します。
• ロングチェーン推論: DeepSeek R1は、多段階の論理的または数学的な課題をシームレスに処理します。これは、RL主導のトレーニングから自然に生まれた、確固たる問題解決の深さを示しています。

いいえ、（まだ）自己認識していません。論文自体はこの言葉の使用を拒否している。しかし、モデルが（より適切な用語がないために）多くの人が特徴づける自発的な行動をモデル化すると、その境界線はますます曖昧になります。 概念的に 「自己認識」のクリティカルシンキング。自分の過去の考えを自己参照して、以前のアプローチの間違いを特定できる。これがどこに行くのか気になるところですが、強化学習は確かに興味深い結果を生み出し、研究者は「ああ瞬間」と強調しました。

ここで疑問が生じます。何かが自己認識されるのはどの時点ですか？この話題は、将来いつか取り上げるつもりです。

「コールドスタート」の役割と多段階トレーニング

DeepSeek R1は主にRLに依存していますが、この記事では重要な「コールドスタート」フェーズが明らかになっています。このフェーズでは、少量の高品質な思考連鎖（CoT）データを使用して初期トレーニングを安定させます。この微妙なディテールは、という印象を打ち消します。 純粋な ゼロからのRL — トレーニングが早い段階で失敗しないように、最小限のガイド付きセットアップがまだあります。さらに、言語の一貫性を保つ報酬と多目的最適化（推論、ライティング、ロールプレイングのタスクを組み合わせるなど）は、バランスのとれた高性能なモデルを作成するために注意深く調整されています。これらの指標は、「純粋な RL」という説明が中心である一方で、効果的な結果を得るためにはある程度の注意深いエンジニアリングが不可欠であることを浮き彫りにしています。

将来を見据えて

GMI クラウドはすでに DeepSeek-V3 を汎用的にホストしており、お客様専用のDeepSeek-R1エンドポイントも用意しています。パブリックエンドポイントは 2025 年 2 月に利用可能になる予定です。DeepSeek の機能を自分でテストしてみたいという方は、遠慮なく試してみてください。 こちらからお問い合わせください。

‍