Tinyllama V1.1 Math Code

🚀 TinyLlama-1.1B-v1.1

このプロジェクトのTinyLlama-1.1B-v1.1は、Llama 2と同じアーキテクチャとトークナイザを採用しています。これにより、Llamaをベースにした多くのオープンソースプロジェクトですぐに使用できます。また、パラメータ数がわずか11億とコンパクトで、計算とメモリ使用量が制限された多くのアプリケーションに対応できます。

• コードベース: github.com/jzhang38/TinyLlama
• 技術レポート: arxiv.org/pdf/2401.02385

🚀 クイックスタート

TinyLlamaを使用するには、transformers>=4.31が必要です。詳細な情報はGitHubページを確認してください。

from transformers import AutoTokenizer
import transformers 
import torch
model = "TinyLlama/TinyLlama_v1.1"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

sequences = pipeline(
    'The TinyLlama project aims to pretrain a 1.1B Llama model on 3 trillion tokens. With some proper optimization, we can achieve this within a span of "just" 90 days using 16 A100-40G GPUs 🚀🚀. The training has started on 2023-09-01.',
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    repetition_penalty=1.5,
    eos_token_id=tokenizer.eos_token_id,
    max_length=500,
)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")

✨ 主な機能

• Llama 2と同じアーキテクチャとトークナイザを採用しており、Llamaをベースにした多くのオープンソースプロジェクトで互換性があります。
• パラメータ数が11億とコンパクトで、計算とメモリ使用量が制限されたアプリケーションに適しています。
• 3種類の専用バージョン（標準版、数学とコードに特化した版、中国語に特化した版）が用意されています。

📚 ドキュメント

概要

このプロジェクトでは、単一のTinyLlamaモデルを訓練するだけでなく、まず15兆トークンのコーパスでTinyLlamaを訓練して基本的な言語能力を獲得します。その後、このモデルを使って、3種類の異なるデータサンプリングで継続的な事前学習を行い、3種類の異なるモデルを作成します。このプロセスの視覚的な表現については、下の図を参照してください。

事前学習

いくつかの問題（bug1、bug2）のため、TinyLlamaを再訓練してより良いモデルを提供しようとしています。モデルは2兆トークンで訓練し、事前学習を3つの異なる段階に分けました：1) 基本的な事前学習、2) 特定のドメインでの継続的な事前学習、3) クールダウン。

基本的な事前学習

この初期段階では、slimpajamaのみを使用してモデルを訓練し、常識的な推論能力を養いました。この基本的な事前学習期間中、モデルは1.5兆トークンで訓練されました。ノードごとに4つのA100-40Gを備えたクラスタを使用し、ノード内でのみモデルの重みを分割しているため、このときのバッチサイズは約180万に設定できました。

特定のドメインでの継続的な事前学習

この事前学習では、3種類のコーパス（最初の段階と同じslimpajama、Math&Code（starcoderとproof pile）、中国語（Skypile））を組み込みました。このアプローチにより、特殊な機能を持つ3種類の変種モデルを開発することができました。

この段階の最初の約60億トークンでは、ドメイン固有のコーパス（Slimpajamaは段階1と同じで変更なし）のサンプリング割合を線形に増やしました。このウォームアップサンプリング増加戦略は、事前学習データの分布を徐々に調整し、より安定した訓練プロセスを確保するために設計されています。このサンプリング増加段階の後、安定したサンプリング戦略でモデルの事前学習を続け、約1850億トークンに達するまで行いました。

クールダウン

事前学習の最後に、より良いモデルの収束を達成するために、クールダウンフェーズを実装することが重要な技術になっています。ただし、最初からコサイン学習率戦略を使用しているため、MiniCPMやdeepseekのようにクールダウンのために学習率を変更することは困難です。そこで、バッチサイズを調整してクールダウンを試みています。具体的には、クールダウン段階でバッチサイズを180万から720万に増やし、元のコサイン学習率スケジュールを維持しています。

Tinyllamaモデルファミリー

大規模かつ詳細な事前学習プロセスの後、現在、3種類の専用バージョンのモデルをリリースしています：

1. TinyLlama_v1.1：標準版で、一般的な用途に使用されます。
2. TinyLlama_v1.1_Math&Code：数学とコードに関する能力が高い版です。
3. TinyLlama_v1.1_Chinese：中国語の理解能力が高い版です。

データ

各段階でのデータ分布を以下に示します：

TinyLlama_v1.1

TinyLlama_v1.1_math_code

TinyLlama_v1.1_chinese

評価

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。