Motif 2.6B

🚀 Motif 2.6B

Motif 2.6B是一個擁有26億參數的語言模型，在AMD Instinct™ MI250 GPU上從頭開始訓練。它標誌著我們朝著構建符合人類價值觀、有用且可靠的AI邁出了第一步。此次初始發佈，我們的目標是讓Motif 2.6B達到如Gemma、Llama和Phi等知名開源模型的性能，尤其是在小型大語言模型（sLLM）領域。

🚀 快速開始

你可以按照以下代碼示例使用Motif 2.6B模型：

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "Motif-Technologies/Motif-2.6B",
    trust_remote_code = True, 
    _attn_implementation = "eager", # also supports flash_attention_2
).cuda()

tokenizer = AutoTokenizer.from_pretrained(
    "Motif-Technologies/Motif-2.6B", 
    trust_remote_code = True, 
)

query = "What is the capital city of South Korea?"
input_ids = tokenizer.apply_chat_template(
    [
        {'role': 'system', 'content': 'you are an helpful assistant'},
        {'role': 'user', 'content': query},
    ],
    add_generation_prompt = True,
    return_tensors='pt',
).cuda()

output = model.generate(input_ids, max_new_tokens=128, pad_token_id=tokenizer.eos_token_id)
output = tokenizer.decode(output[0, input_ids.shape[-1]:], skip_special_tokens = True)
print(output)

"""
The capital city of South Korea is Seoul. Located in the southern part of the country, Seoul is not only the largest city in South Korea but also one of the largest metropolitan areas in the world.
It is a vibrant and dynamic city known for its rich history, cultural heritage, and modern amenities. Seoul is a major economic, cultural, and political center in East Asia, and it plays a crucial role in the region's politics, economy, and culture.
The city is divided into different administrative districts, each with its own unique characteristics and attractions.
"""

✨ 主要特性

• 基於AMD Instinct™ MI250 GPU從頭開始訓練，邁出構建符合人類價值觀AI的第一步。
• 目標是在小型大語言模型（sLLM）領域達到知名開源模型的性能。

📦 安裝指南

文檔未提及安裝步驟，暫無法提供。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "Motif-Technologies/Motif-2.6B",
    trust_remote_code = True, 
    _attn_implementation = "eager", # also supports flash_attention_2
).cuda()

tokenizer = AutoTokenizer.from_pretrained(
    "Motif-Technologies/Motif-2.6B", 
    trust_remote_code = True, 
)

query = "What is the capital city of South Korea?"
input_ids = tokenizer.apply_chat_template(
    [
        {'role': 'system', 'content': 'you are an helpful assistant'},
        {'role': 'user', 'content': query},
    ],
    add_generation_prompt = True,
    return_tensors='pt',
).cuda()

output = model.generate(input_ids, max_new_tokens=128, pad_token_id=tokenizer.eos_token_id)
output = tokenizer.decode(output[0, input_ids.shape[-1]:], skip_special_tokens = True)
print(output)

"""
The capital city of South Korea is Seoul. Located in the southern part of the country, Seoul is not only the largest city in South Korea but also one of the largest metropolitan areas in the world.
It is a vibrant and dynamic city known for its rich history, cultural heritage, and modern amenities. Seoul is a major economic, cultural, and political center in East Asia, and it plays a crucial role in the region's politics, economy, and culture.
The city is divided into different administrative districts, each with its own unique characteristics and attractions.
"""

高級用法

文檔未提及高級用法示例，暫無法提供。

📚 詳細文檔

訓練信息

• GPU：384塊MI250
• 訓練時間：42天
• 訓練數據：2.4T個token

⚠️ 重要提示

詳細的技術報告將在稍後發佈。

評估

當模型發佈時，其附帶的技術報告或論文通常會根據開發者選擇的評估設置展示基準測試結果。雖然這是一種常見且可以理解的做法，但在比較不同組織的模型時可能會帶來挑戰。同一個模型根據評估條件的不同可能會得出不同的分數，而且這些條件的細節並不總是完全公開。這種缺乏標準化的情況可能會使開源社區難以解讀和信任所報告的結果。因此，我們參考每個模型開發者在各自出版物中報告的官方性能分數。

為了說明評估分數在不同報告之間的差異程度，我們在評估附錄中提供了主要模型基準分數差異的具體示例。

與Mistral AI的Mistral 7B對比

下表中的基準測試和相應分數直接取自Mistral 7B技術報告。

* : 我們報告的是4-shot, maj@1的分數，而不是4-shot, maj@4的分數。

與Google的Gemma系列對比

Gemma 1 & 2

下表中的基準測試和相應分數直接取自Gemma 2技術報告。

⚠️ 重要提示

儘管Gemma 2 2B被稱為“2B”，但實際上它有26億個參數。

Gemma 3

下表中的基準測試和相應分數直接取自Gemma 3技術報告。

與Meta的Llama系列對比

Llama 3

下表中的基準測試和相應分數直接取自Llama 3技術報告。

Llama 3.2

下表中的基準測試和相應分數直接取自Llama 3.2官方博客。

與Microsoft的Phi系列對比

下表中的基準測試和相應分數直接取自Phi - 3技術報告。

評估附錄

在上述比較中，根據原始技術報告中報告的基準分數，Motif 2.6B與Llama 3 8B和Gemma 2 9B相比，平均性能提升率分別為-15.36%和-13.45%。然而，與Qwen 2.5技術報告中報告的基準測試和分數相比，Motif 2.6B相對於Llama 3 8B的平均提升率為+19.27%，相對於Gemma 2 9B的平均提升率為+1.68%。詳情見下表。

基於Qwen2.5技術報告分數與Llama 3 8B和Gemma 2 9B對比

🔧 技術細節

文檔未提及技術實現細節，暫無法提供。

📄 許可證

本項目採用motif-license許可證。