Aira 2 Portuguese 124M

🚀 Aira-2葡萄牙語124M模型

Aira-2是Aira指令調優系列的第二個版本。Aira-2葡萄牙語124M是一個基於GPT - 2的指令調優模型。該模型使用由提示和已調優模型（如ChatGPT、Llama、Open - Assistant等）生成的合成完成內容組成的數據集進行訓練。

你可以在Spaces中查看我們的Gradio演示。

🚀 快速開始

本部分將為你介紹如何快速使用Aira-2葡萄牙語124M模型。

✨ 主要特性

• 參數規模：擁有124,441,344個參數。
• 數據集：使用Instruct - Aira數據集進行訓練。
• 語言支持：支持葡萄牙語。
• 訓練輪數：共訓練5個輪次。
• 批次大小：訓練時批次大小為24。
• 優化器：使用torch.optim.AdamW優化器（熱身步數為1e2，學習率為5e - 4，epsilon為1e - 8）。
• 硬件使用：使用1塊NVIDIA A100 - SXM4 - 40GB GPU進行訓練。
• 碳排放：二氧化碳排放量為0.35千克（新加坡），總能耗為0.73千瓦時。

📦 安裝指南

本README未提及具體安裝步驟，你可根據transformers庫的通用安裝方式進行安裝。

💻 使用示例

基礎用法

以下是使用Aira-2葡萄牙語124M模型的基礎代碼示例：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

tokenizer = AutoTokenizer.from_pretrained('nicholasKluge/Aira-2-portuguese-124M')
aira = AutoModelForCausalLM.from_pretrained('nicholasKluge/Aira-2-portuguese-124M')

aira.eval()
aira.to(device)

question =  input("Enter your question: ")

inputs = tokenizer(tokenizer.bos_token + question + tokenizer.sep_token,
  add_special_tokens=False,
  return_tensors="pt").to(device)

responses = aira.generate(**inputs,	num_return_sequences=2)

print(f"Question: 👤 {question}\n")

for i, response in  enumerate(responses):
	print(f'Response {i+1}: 🤖 {tokenizer.decode(response, skip_special_tokens=True).replace(question, "")}')

模型的輸出示例如下：

>>> Question: 👤 Qual a capital do Brasil?

>>>Response 1: 🤖 A capital do Brasil é Brasília.
>>>Response 2: 🤖 A capital do Brasil é Brasília.

📚 詳細文檔

模型侷限性

• 幻覺問題：該模型可能會生成看似真實但實際上具有誤導性或完全錯誤的內容，即產生幻覺。
• 偏差與毒性：模型繼承了訓練數據中的社會和歷史刻板印象，可能會生成有毒內容，如對個人、群體或社區有害、冒犯或不利的內容。
• 重複與冗長：模型可能會陷入重複循環（特別是在生成時重複懲罰設置較低的情況下），或者生成與給定提示無關的冗長響應。

模型評估

評估使用了語言模型評估工具（由EleutherAI開發）。由於ToxiGen任務沒有葡萄牙語版本，因此未進行該評估。感謝Laiviet對LM - Evaluation - Harness中部分任務的翻譯。

引用方式

@misc{nicholas22aira,
  doi = {10.5281/zenodo.6989727},
  url = {https://github.com/Nkluge-correa/Aira},
  author = {Nicholas Kluge Corrêa},
  title = {Aira},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
}

@phdthesis{kluge2024dynamic,
  title={Dynamic Normativity},
  author={Kluge Corrêa, Nicholas},
  year={2024},
  school={Universitäts-und Landesbibliothek Bonn}
}

📄 許可證

Aira-2葡萄牙語124M模型採用Apache許可證2.0版本授權。更多詳細信息請參閱LICENSE文件。