Tinyllama 1.1B Intermediate Step 1431k 3T

🚀 TinyLlama-1.1B

TinyLlamaプロジェクトの目標は、3兆トークンで11億パラメータのLlamaモデルを事前学習することです。適切な最適化を行うことで、16台のA100-40G GPUを使用してわずか90日でこれを達成することができます🚀🚀。学習は2023年9月1日に開始されました。

🚀 クイックスタート

TinyLlamaのGitHubリポジトリはこちらです👉 https://github.com/jzhang38/TinyLlama

このモデルはLlama 2とまったく同じアーキテクチャとトークナイザーを採用しています。これは、TinyLlamaがLlamaをベースに構築された多くのオープンソースプロジェクトでそのまま使用できることを意味します。さらに、TinyLlamaはわずか11億のパラメータでコンパクトです。このコンパクトさにより、計算とメモリ使用量が制限された多くのアプリケーションに対応することができます。

✨ 主な機能

• 事前学習目標: 3兆トークンで11億パラメータのLlamaモデルを事前学習。
• 互換性: Llama 2と同じアーキテクチャとトークナイザーを採用し、Llamaベースのオープンソースプロジェクトでの使用が容易。
• コンパクト性: 11億のパラメータで、計算とメモリ使用量の制限されたアプリケーションに適しています。

📚 ドキュメント

このコレクション

このコレクションには、1兆トークン修正後のすべてのチェックポイントが含まれています。ブランチ名はステップと見られたトークン数を示しています。

評価結果

評価指標一覧

Open LLM Leaderboardの評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。