Granite 7b Base

🚀 Granite-7b-base

IBMのオープンソースイノベーションへの取り組みを表す、IBMは、IBMのGraniteモデルシリーズからの事前学習済み言語モデルであるgranite-7b-baseをApache-2.0ライセンスの下でコミュニティと商用利用のために公開しました。Granite-7b-baseは、MetaのLlama-2-7Bのオープンなリファレンス実装として、IBMが選定したデータでゼロから事前学習されました。

✨ 主な機能

• モデルアーキテクチャは、MHAを備えたMetaのLlama2-7Bベースバリアントを複製したもので、2Tトークンで100万のバッチサイズで学習されています。
• コンテキスト長は4kトークンです。
• トークナイザーにはLlama2を使用しています。

📦 インストール

READMEにインストール手順に関する具体的な内容が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデル情報

事前学習データ

このモデルは2Tトークンで学習され、サンプリング割合はLlama1論文で公開されたサンプリング分布にできるだけ近づけるように設計されています。

評価結果

LM-eval Harnessのスコア

バイアス、リスク、および制限事項

Granite-7b-baseはベースモデルであり、セーフティアライメントは行われていないため、問題のある出力を生成する可能性があります。適切なセーフガードとRLHFがない場合、これらのモデルが誤情報や有害なコンテンツを生成するために悪用されるリスクがあります。重要な決定や影響力のある情報に関して特定の言語モデルに完全に依存することは避けるべきです。また、小規模なモデルがサイズや記憶容量の制限により、根拠のない生成シナリオで幻覚を起こしやすいかどうかは不明であり、現在活発な研究分野です。

学習に関する詳細情報

このモデルの学習に関する詳細情報については、ブログをご確認ください：https://pytorch.org/blog/maximizing-training/

📄 ライセンス

このモデルはApache-2.0ライセンスの下で公開されています。