Codellama 70b Python Hf

🚀 コードラマ

コードラマは、70億から700億のパラメータ規模の事前学習および微調整された生成型テキストモデルのコレクションです。これは、Hugging Face Transformers形式の70B Python専用バージョンのリポジトリです。このモデルは、一般的なコード合成と理解のために設計されています。他のモデルへのリンクは、下部のインデックスで見つけることができます。

🚀 クイックスタート

このモデルを使用するには、transformersをインストールする必要があります。

pip install transformers accelerate

✨ 主な機能

• [x] コード補完
• [ ] インフィリング
• [ ] 命令追従 / チャット
• [x] Python専用

📚 ドキュメント

モデルの詳細

*注: このモデルの使用は、Metaのライセンスに準拠しています。Metaは、Code Llamaファミリーの大規模言語モデル（LLM）を開発し、公開しています。

モデル開発者 Meta

バリエーション コードラマは4つのモデルサイズと3つのバリエーションがあります。

• コードラマ: 一般的なコード合成と理解のために設計されたベースモデル
• コードラマ - Python: Python専用に設計されています
• コードラマ - Instruct: 命令追従とより安全なデプロイのためのモデル

すべてのバリエーションは、7B、13B、34B、70Bのパラメータサイズで利用可能です。

このリポジトリには、70BパラメータモデルのPythonバージョンが含まれています。

入力 モデルはテキストのみを入力とします。

出力 モデルはテキストのみを生成します。

モデルアーキテクチャ コードラマは、最適化されたトランスフォーマーアーキテクチャを使用する自己回帰型言語モデルです。最大16kトークンで微調整されています。このバリエーションは、最大100kトークンの長いコンテキストをサポートしていません。

モデルの日付 コードラマとそのバリエーションは、2023年1月から2024年1月の間に学習されました。

ステータス これは、オフラインデータセットで学習された静的モデルです。コミュニティのフィードバックを元にモデルの安全性を向上させるにつれて、コードラマ - Instructの将来のバージョンがリリースされます。

ライセンス カスタム商用ライセンスは、https://ai.meta.com/resources/models-and-libraries/llama-downloads/で入手できます。

研究論文 詳細な情報は、論文 "Code Llama: Open Foundation Models for Code" またはそのarXivページで見つけることができます。

想定される使用方法

想定される使用事例 コードラマとそのバリエーションは、英語および関連するプログラミング言語での商用および研究用途を想定しています。ベースモデルのコードラマは、さまざまなコード合成と理解タスクに適応でき、コードラマ - PythonはPythonプログラミング言語を専門に扱うように設計されており、コードラマ - Instructは、コードアシスタントや生成アプリケーションでの使用がより安全になるように設計されています。

想定外の使用方法 適用される法律や規制（貿易コンプライアンス法を含む）に違反する方法での使用。英語以外の言語での使用。コードラマとそのバリエーションの許容使用ポリシーおよびライセンス契約で禁止されている他の方法での使用。

ハードウェアとソフトウェア

学習要因 カスタム学習ライブラリを使用しました。リリースされたモデルの学習と微調整は、Metaの研究スーパークラスターで行われました。

炭素排出量 合計で、12のコードラマモデルすべてを学習するには、A100 - 80GB（TDP 350 - 400W）タイプのハードウェアで1400K GPU時間の計算が必要でした。推定総排出量は228.55tCO2eqで、その100％がMetaの持続可能性プログラムによって相殺されました。

評価結果

研究論文のセクション3の主要モデルの評価と詳細なアブレーション、セクション4の安全性評価を参照してください。

倫理的考慮事項と制限事項

コードラマとそのバリエーションは、使用に伴うリスクを持つ新しい技術です。これまでに行われたテストは英語で行われており、すべてのシナリオを網羅していない、または網羅することができない。これらの理由から、すべてのLLMと同様に、コードラマの潜在的な出力を事前に予測することはできず、モデルは場合によっては、ユーザーのプロンプトに対して不正確または不快な応答を生成する可能性があります。したがって、コードラマのアプリケーションをデプロイする前に、開発者はモデルの特定のアプリケーションに合わせた安全性テストとチューニングを行う必要があります。

https://ai.meta.com/llama/responsible-use-guideで利用可能な責任ある使用ガイドを参照してください。

モデルの一覧

⚠️ 重要提示

これは非公式のコードラマリポジトリです。公式のMetaリポジトリはMeta Llama organizationで見つけることができます。

📄 ライセンス

カスタム商用ライセンスは、https://ai.meta.com/resources/models-and-libraries/llama-downloads/で入手できます。