Tinyllama 1.1B Python V0.1

🚀 TinyLlama-1.1B

TinyLlamaプロジェクトは、3兆トークンで11億パラメータのLlamaモデルを事前学習することを目指しています。適切な最適化を行うことで、16台のA100 - 40G GPUを使ってわずか90日でこれを達成できます🚀🚀。学習は2023年9月1日に開始されました。

このモデルは、Llama 2と全く同じアーキテクチャとトークナイザーを採用しています。これにより、TinyLlamaはLlamaをベースに構築された多くのオープンソースプロジェクトでそのまま利用できます。また、TinyLlamaはわずか11億のパラメータでコンパクトであり、計算とメモリ使用量が制限された多くのアプリケーションに対応できます。

🚀 クイックスタート

このリポジトリはTinyLlama-1.1Bに関する情報を提供しています。詳細については、こちらのリンクをご覧ください。

✨ 主な機能

• 事前学習目標：3兆トークンで11億パラメータのLlamaモデルを事前学習。
• 互換性：Llama 2と同じアーキテクチャとトークナイザーを採用し、多くのLlamaベースのオープンソースプロジェクトで利用可能。
• コンパクト性：11億のパラメータで、計算とメモリ使用量が制限されたアプリケーションに適しています。
• 多言語対応：微調整データはPythonのみですが、CやJavaなど他の多くの言語にも対応しています。
• HumanEval精度：精度は14です。
• 推測デコード：CodeLlamaファミリーなどの大規模モデルを推測デコードするためのドラフトモデルとして使用できます。

📚 ドキュメント

このモデルについて

このモデルは、500BのTinyLlamaチェックポイントから、starcoderdataの7BのPythonデータで微調整（いわゆる継続事前学習）されたコードLMです。

微調整データはPythonのみですが、このモデルはCやJavaなど他の多くの言語でも機能を維持しています。

HumanEvalの精度は14です。

このモデルは、CodeLlamaファミリーなどの大規模モデルを推測デコードするためのドラフトモデルとして使用できます。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。