Codellama 34B Python Fp16

🚀 CodeLlama 34B-Python fp16

このモデルは、コード生成に特化したCodeLlama 34B-Pythonのfp16形式の重みです。Metaからダウンロードし、convert_llama_weights_to_hf.pyを使ってHF形式に変換したものです。

🚀 クイックスタート

このモデルは、Transformers/HF形式のfp16重みです。CodeLlama 34B-PythonをMetaからダウンロードし、convert_llama_weights_to_hf.pyを使用してHF形式に変換した結果です。

近々量子化モデルも提供予定です。

RoPE Theta値の変更により、正しい結果を得るためには、これらのFP16モデルをtrust_remote_code=Trueでロードする必要があります。

これを実現するための必要なモデリングコードを作成してくれた@emozillaに感謝します！

プロンプトテンプレート: 近日公開予定

📄 ライセンス

このモデルはLlama 2のライセンスに基づいています。

Discord

これらのモデルやAI全般に関するさらなるサポートや議論に参加するには、以下のDiscordサーバーに参加してください。

TheBloke AIのDiscordサーバー

感謝と貢献の方法

chirper.aiチームに感謝します！

多くの方から貢献の方法を尋ねられています。私はモデルを提供し、人々を助けることが好きで、もっと多くの時間を費やしてこの活動を続け、微調整/トレーニングなどの新しいプロジェクトにも取り組みたいと思っています。

もし貢献できる方がいらっしゃれば、大変感謝していただけます。これにより、より多くのモデルを提供し、新しいAIプロジェクトを開始することができます。

寄付者には、すべてのAI/LLM/モデルに関する質問やリクエストに対する優先サポート、プライベートDiscordルームへのアクセス、その他の特典が提供されます。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特別な感謝: Aemon Algiz

Patreonで特別に言及する方々: Sam, theTransient, Jonathan Leane, Steven Wood, webtim, Johann-Peter Hartmann, Geoffrey Montalvo, Gabriel Tamborski, Willem Michiel, John Villwock, Derek Yates, Mesiah Bishop, Eugene Pentland, Pieter, Chadd, Stephen Murray, Daniel P. Andersen, terasurfer, Brandon Frisco, Thomas Belote, Sid, Nathan LeClaire, Magnesian, Alps Aficionado, Stanislav Ovsiannikov, Alex, Joseph William Delisle, Nikolai Manek, Michael Davis, Junyu Yang, K, J, Spencer Kim, Stefan Sabev, Olusegun Samson, transmissions 11, Michael Levine, Cory Kujawski, Rainer Wilmers, zynix, Kalila, Luke @flexchar, Ajan Kanaga, Mandus, vamX, Ai Maven, Mano Prime, Matthew Berman, subjectnull, Vitor Caleffi, Clay Pascal, biorpg, alfie_i, 阿明, Jeffrey Morgan, ya boyyy, Raymond Fosdick, knownsqashed, Olakabola, Leonard Tan, ReadyPlayerEmma, Enrico Ros, Dave, Talal Aujan, Illia Dulskyi, Sean Connelly, senxiiz, Artur Olbinski, Elle, Raven Klaugh, Fen Risland, Deep Realms, Imad Khwaja, Fred von Graf, Will Dee, usrbinkat, SuperWojo, Alexandros Triantafyllidis, Swaroop Kallakuri, Dan Guido, John Detwiler, Pedro Madruga, Iucharbius, Viktor Bowallius, Asp the Wyvern, Edmond Seymore, Trenton Dambrowitz, Space Cruiser, Spiking Neurons AB, Pyrater, LangChain4j, Tony Hughes, Kacper Wikieł, Rishabh Srivastava, David Ziegler, Luke Pendergrass, Andrey, Gabriel Puliatti, Lone Striker, Sebastain Graf, Pierre Kircher, Randy H, NimbleBox.ai, Vadim, danny, Deo Leter

すべての寛大なパトロンと寄付者の皆様に感謝します！

そして、a16zにも彼らの寛大な助成金に感謝します。

オリジナルのモデルカード

Code Llama

モデルの詳細

• モデル開発者: Meta
• バリエーション: Code Llamaには3つのモデルサイズと3つのバリエーションがあります。
  1. Code Llama: 一般的なコード合成と理解を目的としたベースモデル
  2. Code Llama - Python: Pythonに特化したモデル
  3. Code Llama - Instruct: 命令に従い、より安全な展開を目的としたモデル

すべてのバリエーションは、7B、13B、34Bパラメータのサイズで利用可能です。

• 入力: テキストのみ
• 出力: テキストのみ
• モデルアーキテクチャ: Code Llamaとそのバリエーションは、最適化されたTransformerアーキテクチャを使用した自己回帰型言語モデルです。Code Llama 7Bと13Bはさらに、テキストの埋め込み生成もサポートしています。すべてのモデルは最大16Kトークンで微調整され、推論時には最大100Kトークンをサポートします。
• モデルの作成日: Code Llamaとそのバリエーションは、2023年1月から7月の間にトレーニングされました。
• ステータス: これはオフラインデータセットでトレーニングされた静的モデルです。Code Llama - Instructの将来のバージョンは、コミュニティのフィードバックを元にモデルの安全性を改善した上でリリースされます。
• ライセンス: カスタム商用ライセンスはこちらから入手できます。
• 研究論文: 詳細については、「Code Llama: Open Foundation Models for Code」を参照してください。
• コメントの送信先: モデルに関するフィードバックやコメントを提供する方法については、モデルのREADMEを参照するか、GitHubリポジトリ(https://github.com/facebookresearch/codellama/)に問題を提起してください。

想定される使用方法

• 想定される使用シナリオ: Code Llamaとそのバリエーションは、英語および関連するプログラミング言語での商用および研究目的で使用することを想定しています。ベースモデルのCode Llamaは、さまざまなコード合成と理解タスクに適用できます。Code Llama - Pythonは、Pythonプログラミング言語を扱うために特別に設計されています。Code Llama - Instructは、コードアシスタントや生成アプリケーションでより安全に使用できるように設計されています。
• 使用範囲外: 適用される法律や規制（貿易コンプライアンス法を含む）に違反する方法での使用。英語以外の言語での使用。Code Llamaとそのバリエーションの許容使用ポリシーおよびライセンス契約で禁止されている他の方法での使用。

ハードウェアとソフトウェア

• トレーニング要因: カスタムトレーニングライブラリを使用しました。リリースされたモデルのトレーニングと微調整は、Metaの研究スーパークラスターで実行されました。
• 炭素排出量: 合計で、9つのCode Llamaモデルをすべてトレーニングするには、A100 - 80GBタイプのハードウェアで40万GPU時間の計算が必要でした（TDPは350 - 400W）。推定総排出量は65.3tCO2eqで、その100％がMetaの持続可能性プログラムによって相殺されました。
• トレーニングデータ: ここで報告されているすべての実験とリリースされたモデルは、Llama 2と同じデータを使用してトレーニングおよび微調整されていますが、重みは異なります（詳細については、研究論文のセクション2と表1を参照）。Code Llama - Instructは、追加の命令微調整データを使用しています。
• 評価結果: メインモデルの評価と詳細なアブレーションについては、研究論文のセクション3を、安全性評価についてはセクション4を参照してください。

倫理的な考慮事項と制限事項

Code Llamaとそのバリエーションは、使用に伴うリスクを持つ新しい技術です。これまでに行われたテストは英語で行われており、すべてのシナリオを網羅していない、または網羅することができない可能性があります。これらの理由から、すべてのLLMと同様に、Code Llamaの潜在的な出力を事前に予測することはできず、モデルは場合によっては、ユーザーのプロンプトに対して不正確または不快な応答を生成する可能性があります。したがって、Code Llamaのアプリケーションを展開する前に、開発者はモデルの特定のアプリケーションに合わせた安全性テストとチューニングを行う必要があります。

詳細については、責任ある使用ガイドを参照してください。