Codellama 13b Python Hf

🚀 Code Llama

Code Llamaは、70億から340億のパラメータ規模の事前学習済みおよび微調整済みの生成型テキストモデルのコレクションです。このリポジトリは、Hugging Face Transformers形式の13B Python専用バージョンのものです。このモデルは、一般的なコード合成と理解に設計されています。他のモデルへのリンクは、下部のインデックスにあります。

🚀 クイックスタート

このモデルを使用するには、transformersをインストールする必要があります。

pip install https://github.com/huggingface/transformers accelerate

✨ 主な機能

• [x] コード補完。
• [ ] インフィリング。
• [ ] 命令実行 / チャット。
• [x] Python専用。

📦 インストール

このモデルを使用するには、transformersをインストールする必要があります。

pip install https://github.com/huggingface/transformers accelerate

📚 ドキュメント

モデルの詳細

*注: このモデルの使用は、Metaのライセンスに準拠しています。Metaは、Code Llamaファミリーの大規模言語モデル（LLM）を開発し、公開しています。

モデル開発者 Meta

バリエーション Code Llamaには、3つのモデルサイズと3つのバリエーションがあります。

• Code Llama: 一般的なコード合成と理解を目的としたベースモデル
• Code Llama - Python: Python専用に設計されたモデル
• Code Llama - Instruct: 命令実行と安全なデプロイを目的としたモデル

すべてのバリエーションは、7B、13B、34Bのパラメータサイズで利用可能です。

このリポジトリには、13BパラメータモデルのPythonバージョンが含まれています。

入力 モデルはテキストのみを入力とします。

出力 モデルはテキストのみを生成します。

モデルアーキテクチャ Code Llamaは、最適化されたトランスフォーマーアーキテクチャを使用した自己回帰型言語モデルです。

モデルの日付 Code Llamaとそのバリエーションは、2023年1月から2023年7月の間に学習されました。

ステータス これは、オフラインデータセットで学習された静的モデルです。Code Llama - Instructの将来のバージョンは、コミュニティからのフィードバックを元にモデルの安全性を改善した上でリリースされます。

意図された使用方法

意図された使用例 Code Llamaとそのバリエーションは、英語と関連するプログラミング言語での商用および研究用途を想定しています。ベースモデルのCode Llamaは、様々なコード合成と理解タスクに適用でき、Code Llama - PythonはPythonプログラミング言語を専門に扱うように設計されており、Code Llama - Instructは、コードアシスタントや生成アプリケーションでの安全な使用を目的としています。

想定外の使用方法 適用される法律や規制（貿易コンプライアンス法を含む）に違反する方法での使用。英語以外の言語での使用。Code Llamaとそのバリエーションの許容使用ポリシーおよびライセンス契約で禁止されている他の方法での使用。

ハードウェアとソフトウェア

学習要因 カスタム学習ライブラリを使用しました。公開されたモデルの学習と微調整は、Metaの研究用スーパークラスターで行われました。

炭素排出量 合計で、9つのCode Llamaモデルの学習には、A100 - 80GBタイプのハードウェアで40万GPU時間の計算が必要でした。推定総排出量は65.3tCO2eqで、その100％がMetaの持続可能性プログラムによって相殺されました。

学習データ

ここで報告されているすべての実験と公開されたモデルは、Llama 2と同じデータを使用して学習および微調整されていますが、重みは異なります（詳細については、研究論文のセクション2と表1を参照）。

評価結果

研究論文のセクション3では、主要モデルの評価と詳細なアブレーションが、セクション4では安全性評価が行われています。

倫理的な考慮事項と制限事項

Code Llamaとそのバリエーションは、使用に伴うリスクを持つ新しい技術です。これまでに行われたテストは英語で行われており、すべてのシナリオを網羅していない、または網羅することができない。これらの理由から、他のすべてのLLMと同様に、Code Llamaの潜在的な出力は事前に予測することができず、モデルは場合によっては、ユーザーのプロンプトに対して不正確または不快な応答を生成する可能性があります。したがって、Code Llamaのアプリケーションをデプロイする前に、開発者はモデルの特定のアプリケーションに合わせた安全性テストとチューニングを行う必要があります。

モデル一覧

ライセンス

カスタム商用ライセンスは、https://ai.meta.com/resources/models-and-libraries/llama-downloads/で入手できます。

研究論文

詳細な情報は、論文 "Code Llama: Open Foundation Models for Code" またはそのarXivページで確認できます。

重要提示

⚠️ 重要提示

これは非公式のCode Llamaリポジトリです。公式のMetaリポジトリはMeta Llama organizationで見つけることができます。

💡 使用建议

Code Llamaのアプリケーションをデプロイする前に、開発者はモデルの特定のアプリケーションに合わせた安全性テストとチューニングを行う必要があります。詳細は責任ある使用ガイドを参照してください。