Aya 23 35B

🚀 Aya-23-35Bモデル紹介

Aya 23は、指令による微調整を行ったモデルのオープンウェイト研究版で、高度な多言語能力を備えています。このモデルは、高性能の事前学習済みCommandシリーズモデルと最近公開されたAyaコレクションを組み合わせることで、23の言語をサポートする強力な多言語大規模言語モデルを実現しています。

⚠️ 重要提示

• これはAyaの旧バージョンです。最新バージョンはAya Expanse 32Bで、こちらから入手できます。また、多モーダルバージョンのAya Vision 32Bもあり、こちらから入手できます。
• 重みをダウンロードする前に、最新のAyaモデルを当社がホストするHugging Faceスペースこちらで試用することができます。

🚀 クイックスタート

インストール

このモデルに必要な変更を含むソースリポジトリからtransformersをインストールしてください。

# pip install 'git+https://github.com/huggingface/transformers.git'
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereLabs/aya-23-35B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

使用例

基本的な使用法

# Format message with the command-r-plus chat template
messages = [{"role": "user", "content": "Anneme onu ne kadar sevdiğimi anlatan bir mektup yaz"}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")
## <BOS_TOKEN><|START_OF_TURN_TOKEN|><|USER_TOKEN|>Anneme onu ne kadar sevdiğimi anlatan bir mektup yaz<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>

gen_tokens = model.generate(
    input_ids, 
    max_new_tokens=100, 
    do_sample=True, 
    temperature=0.3,
    )

gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)

サンプルノートブック

このノートブックでは、Aya 23（8B）の詳細な使用方法、推論、およびQLoRAを使用した微調整が紹介されています。

✨ 主な機能

• 多言語能力：アラビア語、中国語（簡体字と繁体字）、チェコ語、オランダ語、英語、フランス語、ドイツ語、ギリシャ語、ヘブライ語、ヒンディー語、インドネシア語、イタリア語、日本語、韓国語、ペルシャ語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、スペイン語、トルコ語、ウクライナ語、ベトナム語など、23の言語をサポートしています。
• 高性能：高性能の事前学習済みCommandシリーズモデルとAyaコレクションを組み合わせています。
• 長文脈処理：文脈長が8192に達しています。

📚 ドキュメント

モデル概要

Aya 23は、指令による微調整を行ったオープンウェイトの研究版モデルで、高度な多言語能力を備えています。このモデルカードは、Aya 23モデルの350億パラメータバージョンに対応しています。また、80億パラメータバージョンも公開しており、こちらで見つけることができます。

モデル詳細

• 入力：モデルはテキスト入力のみを受け付けます。
• 出力：モデルはテキスト出力のみを生成します。
• モデルアーキテクチャ：Aya-23-35Bは、最適化されたTransformerアーキテクチャを使用した自己回帰型言語モデルです。事前学習の後、このモデルは人間の指令に従うように指令微調整（IFT）が行われています。

評価

ベースモデル、データ、指令微調整、および評価に関する詳細情報については、Aya 23技術報告を参照してください。

モデルカード連絡先

このモデルカードの詳細に誤りや追加の質問がある場合は、labs@cohere.comまでご連絡ください。

使用条件

当社は、世界中の研究者に高性能多言語モデルのウェイトを公開することで、コミュニティベースの研究活動を容易にすることを目指しています。このモデルはCC - BY - NCライセンス契約の対象となり、Cohere Labの許容使用ポリシーにも従う必要があります。

モデルをすぐに試す

Aya 23をCohere playgroundで試すことができます。また、当社の専用Hugging Faceスペースこちらでも使用できます。

引用情報

@misc{aryabumi2024aya,
      title={Aya 23: Open Weight Releases to Further Multilingual Progress}, 
      author={Viraat Aryabumi and John Dang and Dwarak Talupuru and Saurabh Dash and David Cairuz and Hangyu Lin and Bharat Venkitesh and Madeline Smith and Kelly Marchisio and Sebastian Ruder and Acyr Locatelli and Julia Kreutzer and Nick Frosst and Phil Blunsom and Marzieh Fadaee and Ahmet Üstün and Sara Hooker},
      year={2024},
      eprint={2405.15032},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}