Motif 2.6B

🚀 Motif 2.6B

Motif 2.6B是一个拥有26亿参数的语言模型，在AMD Instinct™ MI250 GPU上从头开始训练。它标志着我们朝着构建符合人类价值观、有用且可靠的AI迈出了第一步。此次初始发布，我们的目标是让Motif 2.6B达到如Gemma、Llama和Phi等知名开源模型的性能，尤其是在小型大语言模型（sLLM）领域。

🚀 快速开始

你可以按照以下代码示例使用Motif 2.6B模型：

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "Motif-Technologies/Motif-2.6B",
    trust_remote_code = True, 
    _attn_implementation = "eager", # also supports flash_attention_2
).cuda()

tokenizer = AutoTokenizer.from_pretrained(
    "Motif-Technologies/Motif-2.6B", 
    trust_remote_code = True, 
)

query = "What is the capital city of South Korea?"
input_ids = tokenizer.apply_chat_template(
    [
        {'role': 'system', 'content': 'you are an helpful assistant'},
        {'role': 'user', 'content': query},
    ],
    add_generation_prompt = True,
    return_tensors='pt',
).cuda()

output = model.generate(input_ids, max_new_tokens=128, pad_token_id=tokenizer.eos_token_id)
output = tokenizer.decode(output[0, input_ids.shape[-1]:], skip_special_tokens = True)
print(output)

"""
The capital city of South Korea is Seoul. Located in the southern part of the country, Seoul is not only the largest city in South Korea but also one of the largest metropolitan areas in the world.
It is a vibrant and dynamic city known for its rich history, cultural heritage, and modern amenities. Seoul is a major economic, cultural, and political center in East Asia, and it plays a crucial role in the region's politics, economy, and culture.
The city is divided into different administrative districts, each with its own unique characteristics and attractions.
"""

✨ 主要特性

• 基于AMD Instinct™ MI250 GPU从头开始训练，迈出构建符合人类价值观AI的第一步。
• 目标是在小型大语言模型（sLLM）领域达到知名开源模型的性能。

📦 安装指南

文档未提及安装步骤，暂无法提供。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "Motif-Technologies/Motif-2.6B",
    trust_remote_code = True, 
    _attn_implementation = "eager", # also supports flash_attention_2
).cuda()

tokenizer = AutoTokenizer.from_pretrained(
    "Motif-Technologies/Motif-2.6B", 
    trust_remote_code = True, 
)

query = "What is the capital city of South Korea?"
input_ids = tokenizer.apply_chat_template(
    [
        {'role': 'system', 'content': 'you are an helpful assistant'},
        {'role': 'user', 'content': query},
    ],
    add_generation_prompt = True,
    return_tensors='pt',
).cuda()

output = model.generate(input_ids, max_new_tokens=128, pad_token_id=tokenizer.eos_token_id)
output = tokenizer.decode(output[0, input_ids.shape[-1]:], skip_special_tokens = True)
print(output)

"""
The capital city of South Korea is Seoul. Located in the southern part of the country, Seoul is not only the largest city in South Korea but also one of the largest metropolitan areas in the world.
It is a vibrant and dynamic city known for its rich history, cultural heritage, and modern amenities. Seoul is a major economic, cultural, and political center in East Asia, and it plays a crucial role in the region's politics, economy, and culture.
The city is divided into different administrative districts, each with its own unique characteristics and attractions.
"""

高级用法

文档未提及高级用法示例，暂无法提供。

📚 详细文档

训练信息

• GPU：384块MI250
• 训练时间：42天
• 训练数据：2.4T个token

⚠️ 重要提示

详细的技术报告将在稍后发布。

评估

当模型发布时，其附带的技术报告或论文通常会根据开发者选择的评估设置展示基准测试结果。虽然这是一种常见且可以理解的做法，但在比较不同组织的模型时可能会带来挑战。同一个模型根据评估条件的不同可能会得出不同的分数，而且这些条件的细节并不总是完全公开。这种缺乏标准化的情况可能会使开源社区难以解读和信任所报告的结果。因此，我们参考每个模型开发者在各自出版物中报告的官方性能分数。

为了说明评估分数在不同报告之间的差异程度，我们在评估附录中提供了主要模型基准分数差异的具体示例。

与Mistral AI的Mistral 7B对比

下表中的基准测试和相应分数直接取自Mistral 7B技术报告。

* : 我们报告的是4-shot, maj@1的分数，而不是4-shot, maj@4的分数。

与Google的Gemma系列对比

Gemma 1 & 2

下表中的基准测试和相应分数直接取自Gemma 2技术报告。

⚠️ 重要提示

尽管Gemma 2 2B被称为“2B”，但实际上它有26亿个参数。

Gemma 3

下表中的基准测试和相应分数直接取自Gemma 3技术报告。

与Meta的Llama系列对比

Llama 3

下表中的基准测试和相应分数直接取自Llama 3技术报告。

Llama 3.2

下表中的基准测试和相应分数直接取自Llama 3.2官方博客。

与Microsoft的Phi系列对比

下表中的基准测试和相应分数直接取自Phi - 3技术报告。

评估附录

在上述比较中，根据原始技术报告中报告的基准分数，Motif 2.6B与Llama 3 8B和Gemma 2 9B相比，平均性能提升率分别为-15.36%和-13.45%。然而，与Qwen 2.5技术报告中报告的基准测试和分数相比，Motif 2.6B相对于Llama 3 8B的平均提升率为+19.27%，相对于Gemma 2 9B的平均提升率为+1.68%。详情见下表。

基于Qwen2.5技术报告分数与Llama 3 8B和Gemma 2 9B对比

🔧 技术细节

文档未提及技术实现细节，暂无法提供。

📄 许可证

本项目采用motif-license许可证。