Aya 101

🚀 Aya 101模型介绍

Aya模型是一款强大的多语言生成式语言模型，能够处理101种语言的指令。尽管支持的语言数量是其他模型的两倍，但在各种自动和人工评估中，Aya的表现均优于mT0和BLOOMZ。该模型使用xP3x、Aya数据集、Aya集合、DataProvenance集合的一个子集以及ShareGPT-Command进行训练。我们以Apache-2.0许可证发布该模型的检查点，以推动多语言技术赋能多语言世界的使命。

🚀 快速开始

安装依赖

# pip install -q transformers
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "CohereLabs/aya-101"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
aya_model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)

示例代码

土耳其语到英语翻译

# Turkish to English translation
tur_inputs = tokenizer.encode("Translate to English: Aya cok dilli bir dil modelidir.", return_tensors="pt")
tur_outputs = aya_model.generate(tur_inputs, max_new_tokens=128)
print(tokenizer.decode(tur_outputs[0]))
# Aya is a multi-lingual language model

印地语问答

# Q: Why are there so many languages in India?
hin_inputs = tokenizer.encode("भारत में इतनी सारी भाषाएँ क्यों हैं?", return_tensors="pt")
hin_outputs = aya_model.generate(hin_inputs, max_new_tokens=128)
print(tokenizer.decode(hin_outputs[0]))
# Expected output: भारत में कई भाषाएँ हैं और विभिन्न भाषाओं के बोली जाने वाले लोग हैं। यह विभिन्नता भाषाई विविधता और सांस्कृतिक विविधता का परिणाम है। Translates to "India has many languages and people speaking different languages. This diversity is the result of linguistic diversity and cultural diversity."

✨ 主要特性

• 多语言支持：支持101种语言，包括但不限于英语、中文、阿拉伯语、日语等。
• 高性能表现：在多种自动和人工评估中，优于mT0和BLOOMZ。
• 开放访问：以Apache-2.0许可证发布检查点，方便社区使用和研究。

📦 安装指南

安装依赖：

pip install -q transformers

📚 详细文档

模型详情

微调信息

• 架构：与mt5-xxl相同。
• 微调时看到的样本数量：2500万。
• 批次大小：256。
• 硬件：TPUv4 - 128。
• 软件：T5X, Jax。

数据源

Aya模型在以下数据集上进行训练：

• xP3x
• Aya数据集
• Aya集合
• DataProvenance集合
• ShareGPT - Command

所有数据集都被子集化为mT5支持的101种语言。有关过滤和修剪的详细信息，请参阅论文。

评估

我们参考论文第5节进行了99种语言的多语言评估，包括判别和生成任务、人工评估以及涵盖保留任务和分布内性能的模拟胜率。

偏差、风险和局限性

有关我们在安全缓解方面的努力以及跨多种语言的毒性和偏差基准测试的详细概述，请参考论文的第6和7节：Aya模型：指令微调的开放访问多语言语言模型。

我们希望Aya模型的发布能够通过向社区研究开放一个开源的大规模多语言模型，使基于社区的红队测试成为可能。

🔧 技术细节

语言覆盖

📄 许可证

本模型以Apache - 2.0许可证发布。

📖 引用

@article{üstün2024aya,
  title={Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model},
  author={Ahmet Üstün and Viraat Aryabumi and Zheng-Xin Yong and Wei-Yin Ko and Daniel D'souza and Gbemileke Onilude and Neel Bhandari and Shivalika Singh and Hui-Lee Ooi and Amr Kayid and Freddie Vargus and Phil Blunsom and Shayne Longpre and Niklas Muennighoff and Marzieh Fadaee and Julia Kreutzer and Sara Hooker},
  journal={arXiv preprint arXiv:2402.07827},
  year={2024}
}

📞 模型卡片联系信息

如果本模型卡片存在错误，请联系Ahmet或Viraat，邮箱：{ahmet, viraat} at cohere dot com。