Aya 101

🚀 Aya 101模型介紹

Aya模型是一款強大的多語言生成式語言模型，能夠處理101種語言的指令。儘管支持的語言數量是其他模型的兩倍，但在各種自動和人工評估中，Aya的表現均優於mT0和BLOOMZ。該模型使用xP3x、Aya數據集、Aya集合、DataProvenance集合的一個子集以及ShareGPT-Command進行訓練。我們以Apache-2.0許可證發佈該模型的檢查點，以推動多語言技術賦能多語言世界的使命。

🚀 快速開始

安裝依賴

# pip install -q transformers
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "CohereLabs/aya-101"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
aya_model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)

示例代碼

土耳其語到英語翻譯

# Turkish to English translation
tur_inputs = tokenizer.encode("Translate to English: Aya cok dilli bir dil modelidir.", return_tensors="pt")
tur_outputs = aya_model.generate(tur_inputs, max_new_tokens=128)
print(tokenizer.decode(tur_outputs[0]))
# Aya is a multi-lingual language model

印地語問答

# Q: Why are there so many languages in India?
hin_inputs = tokenizer.encode("भारत में इतनी सारी भाषाएँ क्यों हैं?", return_tensors="pt")
hin_outputs = aya_model.generate(hin_inputs, max_new_tokens=128)
print(tokenizer.decode(hin_outputs[0]))
# Expected output: भारत में कई भाषाएँ हैं और विभिन्न भाषाओं के बोली जाने वाले लोग हैं। यह विभिन्नता भाषाई विविधता और सांस्कृतिक विविधता का परिणाम है। Translates to "India has many languages and people speaking different languages. This diversity is the result of linguistic diversity and cultural diversity."

✨ 主要特性

• 多語言支持：支持101種語言，包括但不限於英語、中文、阿拉伯語、日語等。
• 高性能表現：在多種自動和人工評估中，優於mT0和BLOOMZ。
• 開放訪問：以Apache-2.0許可證發佈檢查點，方便社區使用和研究。

📦 安裝指南

安裝依賴：

pip install -q transformers

📚 詳細文檔

模型詳情

微調信息

• 架構：與mt5-xxl相同。
• 微調時看到的樣本數量：2500萬。
• 批次大小：256。
• 硬件：TPUv4 - 128。
• 軟件：T5X, Jax。

數據源

Aya模型在以下數據集上進行訓練：

• xP3x
• Aya數據集
• Aya集合
• DataProvenance集合
• ShareGPT - Command

所有數據集都被子集化為mT5支持的101種語言。有關過濾和修剪的詳細信息，請參閱論文。

評估

我們參考論文第5節進行了99種語言的多語言評估，包括判別和生成任務、人工評估以及涵蓋保留任務和分佈內性能的模擬勝率。

偏差、風險和侷限性

有關我們在安全緩解方面的努力以及跨多種語言的毒性和偏差基準測試的詳細概述，請參考論文的第6和7節：Aya模型：指令微調的開放訪問多語言語言模型。

我們希望Aya模型的發佈能夠通過向社區研究開放一個開源的大規模多語言模型，使基於社區的紅隊測試成為可能。

🔧 技術細節

語言覆蓋

📄 許可證

本模型以Apache - 2.0許可證發佈。

📖 引用

@article{üstün2024aya,
  title={Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model},
  author={Ahmet Üstün and Viraat Aryabumi and Zheng-Xin Yong and Wei-Yin Ko and Daniel D'souza and Gbemileke Onilude and Neel Bhandari and Shivalika Singh and Hui-Lee Ooi and Amr Kayid and Freddie Vargus and Phil Blunsom and Shayne Longpre and Niklas Muennighoff and Marzieh Fadaee and Julia Kreutzer and Sara Hooker},
  journal={arXiv preprint arXiv:2402.07827},
  year={2024}
}

📞 模型卡片聯繫信息

如果本模型卡片存在錯誤，請聯繫Ahmet或Viraat，郵箱：{ahmet, viraat} at cohere dot com。