Motif 2.6B

🚀 Motif 2.6B

Motif 2.6Bは、AMD Instinct™ MI250 GPU上でゼロから学習された26億パラメータの言語モデルです。このモデルは、人間の価値に沿った有益で信頼性の高いAIを構築するための最初の一歩を示しています。初回リリースでは、Motif 2.6BがGemma、Llama、Phiなどの著名なオープンソースモデル、特にsLLM領域のモデルと同等の性能を発揮することを目指しています。

🚀 クイックスタート

以下のコードを使って、Motif 2.6Bを簡単に使用することができます。

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "Motif-Technologies/Motif-2.6B",
    trust_remote_code = True, 
    _attn_implementation = "eager", # also supports flash_attention_2
).cuda()

tokenizer = AutoTokenizer.from_pretrained(
    "Motif-Technologies/Motif-2.6B", 
    trust_remote_code = True, 
)

query = "What is the capital city of South Korea?"
input_ids = tokenizer.apply_chat_template(
    [
        {'role': 'system', 'content': 'you are an helpful assistant'},
        {'role': 'user', 'content': query},
    ],
    add_generation_prompt = True,
    return_tensors='pt',
).cuda()

output = model.generate(input_ids, max_new_tokens=128, pad_token_id=tokenizer.eos_token_id)
output = tokenizer.decode(output[0, input_ids.shape[-1]:], skip_special_tokens = True)
print(output)

"""
The capital city of South Korea is Seoul. Located in the southern part of the country, Seoul is not only the largest city in South Korea but also one of the largest metropolitan areas in the world.
It is a vibrant and dynamic city known for its rich history, cultural heritage, and modern amenities. Seoul is a major economic, cultural, and political center in East Asia, and it plays a crucial role in the region's politics, economy, and culture.
The city is divided into different administrative districts, each with its own unique characteristics and attractions.
"""

✨ 主な機能

Motif 2.6Bは、多様なベンチマークでの評価により、他の主要なモデルとの比較が可能です。具体的なベンチマーク結果は、以下のセクションで紹介します。

📦 インストール

本READMEには明示的なインストール手順が記載されていないため、このセクションは省略されています。

💻 使用例

基本的な使用法

上記の「クイックスタート」セクションに記載されたコードが基本的な使用例となります。

📚 ドキュメント

学習情報

• GPU: 384台のMI250
• 学習時間: 42日
• 学習データ: 2.4Tトークン

なお、詳細な技術レポートは後日公開予定です。

評価

モデルがリリースされる際、開発者が選択した評価設定に基づくベンチマーク結果が技術レポートや論文に掲載されることがよくあります。これは一般的かつ理解できる慣行ですが、異なる組織のモデルを比較する際に問題を引き起こすことがあります。同じモデルでも評価条件によってスコアが異なり、これらの条件の詳細が必ずしも完全に開示されるわけではありません。この標準化の欠如により、オープンソースコミュニティが報告された結果を解釈し、信頼することが困難になることがあります。そのため、各モデルの開発者がそれぞれの出版物で報告した公式の数値に基づいて、性能スコアを参照しています。

評価スコアがレポート間でどれだけ異なるかを示すために、「評価付録」で主要なモデルのベンチマークスコアの違いの具体的な例を提供しています。

Mistral AIのMistral 7Bとの比較

以下の表に示されるベンチマークと対応するスコアは、Mistral 7B技術レポート から直接引用されています。

* : 4-shot, maj@1のスコアを報告しています。

GoogleのGemmaシリーズとの比較

Gemma 1 & 2

以下の表に示されるベンチマークと対応するスコアは、Gemma 2技術レポート から直接引用されています。

なお、「2B」と呼ばれていますが、Gemma 2 2Bは実際には26億のパラメータを持っています。

Gemma 3

以下の表に示されるベンチマークと対応するスコアは、Gemma 3技術レポート から直接引用されています。

MetaのLlamaシリーズとの比較

Llama 3

以下の表に示されるベンチマークと対応するスコアは、Llama 3技術レポート から直接引用されています。

Llama 3.2

以下の表に示されるベンチマークと対応するスコアは、Llama 3.2公式ブログ から直接引用されています。

MicrosoftのPhiシリーズとの比較

以下の表に示されるベンチマークと対応するスコアは、Phi - 3技術レポート から直接引用されています。

評価付録

上記の比較では、Motif 2.6Bは、それぞれの元の技術レポートで報告されたベンチマークスコアに基づいて、Llama 3 8BとGemma 2 9Bに対してそれぞれ - 15.36%と - 13.45%の平均性能改善を示しています。しかし、Qwen 2.5技術レポート で報告されたベンチマークとスコアと比較すると、Motif 2.6BはLlama 3 8Bに対して+19.27%、Gemma 2 9Bに対して+1.68%の平均改善を示しています。詳細は以下の表を参照してください。

🔧 技術詳細

本READMEには明示的な技術詳細が記載されていないため、このセクションは省略されています。

📄 ライセンス

本プロジェクトは、motif-license の下で提供されています。