Aira 2 Portuguese 124M

🚀 Aira-2-portuguese-124M

Aira-2は、Aira系列の命令調整済みモデルの第2版です。Aira-2-portuguese-124Mは、GPT-2をベースにした命令調整済みモデルです。このモデルは、既に調整済みのモデル（ChatGPT、Llama、Open-Assistantなど）にプロンプトを与えて合成的に生成されたプロンプトと完了文から構成されるデータセットを使用してトレーニングされました。

SpacesでGradioデモを確認できます。

🚀 クイックスタート

このセクションでは、モデルの概要と使用方法の基本的な説明を行います。

✨ 主な機能

• テキスト生成に特化したモデルで、質問に対する回答を生成できます。
• ポルトガル語に特化してトレーニングされています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

tokenizer = AutoTokenizer.from_pretrained('nicholasKluge/Aira-2-portuguese-124M')
aira = AutoModelForCausalLM.from_pretrained('nicholasKluge/Aira-2-portuguese-124M')

aira.eval()
aira.to(device)

question =  input("Enter your question: ")

inputs = tokenizer(tokenizer.bos_token + question + tokenizer.sep_token,
  add_special_tokens=False,
  return_tensors="pt").to(device)

responses = aira.generate(**inputs,	num_return_sequences=2)

print(f"Question: 👤 {question}\n")

for i, response in  enumerate(responses):
	print(f'Response {i+1}: 🤖 {tokenizer.decode(response, skip_special_tokens=True).replace(question, "")}')

出力例

>>> Question: 👤 Qual a capital do Brasil?

>>>Response 1: 🤖 A capital do Brasil é Brasília.
>>>Response 2: 🤖 A capital do Brasil é Brasília.

📚 ドキュメント

詳細情報

推論パラメータ

制限事項

• 幻覚現象：このモデルは、真実と誤認される可能性のある内容を生成することがありますが、実際には誤解を招くものや完全に誤った内容、つまり幻覚現象を引き起こすことがあります。
• バイアスと毒性：このモデルは、トレーニングに使用されたデータから社会的および歴史的なステレオタイプを引き継いでいます。これらのバイアスにより、モデルは有害、不快、または個人、グループ、またはコミュニティに損害を与えるような毒性のある内容を生成する可能性があります。
• 繰り返しと冗長性：モデルは、繰り返しループに陥ることがあり（特に生成時の繰り返しペナルティが非常に低い値に設定されている場合）、また与えられたプロンプトと関係のない冗長な応答を生成することがあります。

評価

評価は、Language Model Evaluation Harness（EleutherAIによる）を使用して行われました。ToxiGen評価は、タスクがポルトガル語で利用できなかったため行われませんでした。LaivietによるLM-Evaluation-Harnessの一部のタスクの翻訳に感謝します。

🔧 技術詳細

このモデルは、GPT-2ベースのアーキテクチャを使用しており、命令調整を行うことで特定のタスクに特化した性能を発揮します。トレーニングデータは、既存のモデルを利用して合成的に生成されたもので、多様な質問と回答のペアを含んでいます。

📄 ライセンス

Aira-2-portuguese-124Mは、Apache License, Version 2.0の下でライセンスされています。詳細については、LICENSEファイルを参照してください。

引用

@misc{nicholas22aira,
  doi = {10.5281/zenodo.6989727},
  url = {https://github.com/Nkluge-correa/Aira},
  author = {Nicholas Kluge Corrêa},
  title = {Aira},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
}

@phdthesis{kluge2024dynamic,
  title={Dynamic Normativity},
  author={Kluge Corrêa, Nicholas},
  year={2024},
  school={Universitäts- und Landesbibliothek Bonn}
}