🚀 Aira-2葡萄牙语124M模型
Aira-2是Aira指令调优系列的第二个版本。Aira-2葡萄牙语124M是一个基于GPT - 2的指令调优模型。该模型使用由提示和已调优模型(如ChatGPT、Llama、Open - Assistant等)生成的合成完成内容组成的数据集进行训练。
你可以在Spaces中查看我们的Gradio演示。
🚀 快速开始
本部分将为你介绍如何快速使用Aira-2葡萄牙语124M模型。
✨ 主要特性
- 参数规模:拥有124,441,344个参数。
- 数据集:使用Instruct - Aira数据集进行训练。
- 语言支持:支持葡萄牙语。
- 训练轮数:共训练5个轮次。
- 批次大小:训练时批次大小为24。
- 优化器:使用
torch.optim.AdamW
优化器(热身步数为1e2,学习率为5e - 4,epsilon为1e - 8)。
- 硬件使用:使用1块NVIDIA A100 - SXM4 - 40GB GPU进行训练。
- 碳排放:二氧化碳排放量为0.35千克(新加坡),总能耗为0.73千瓦时。
📦 安装指南
本README未提及具体安装步骤,你可根据transformers
库的通用安装方式进行安装。
💻 使用示例
基础用法
以下是使用Aira-2葡萄牙语124M模型的基础代码示例:
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
tokenizer = AutoTokenizer.from_pretrained('nicholasKluge/Aira-2-portuguese-124M')
aira = AutoModelForCausalLM.from_pretrained('nicholasKluge/Aira-2-portuguese-124M')
aira.eval()
aira.to(device)
question = input("Enter your question: ")
inputs = tokenizer(tokenizer.bos_token + question + tokenizer.sep_token,
add_special_tokens=False,
return_tensors="pt").to(device)
responses = aira.generate(**inputs, num_return_sequences=2)
print(f"Question: 👤 {question}\n")
for i, response in enumerate(responses):
print(f'Response {i+1}: 🤖 {tokenizer.decode(response, skip_special_tokens=True).replace(question, "")}')
模型的输出示例如下:
>>> Question: 👤 Qual a capital do Brasil?
>>>Response 1: 🤖 A capital do Brasil é Brasília.
>>>Response 2: 🤖 A capital do Brasil é Brasília.
📚 详细文档
模型局限性
- 幻觉问题:该模型可能会生成看似真实但实际上具有误导性或完全错误的内容,即产生幻觉。
- 偏差与毒性:模型继承了训练数据中的社会和历史刻板印象,可能会生成有毒内容,如对个人、群体或社区有害、冒犯或不利的内容。
- 重复与冗长:模型可能会陷入重复循环(特别是在生成时重复惩罚设置较低的情况下),或者生成与给定提示无关的冗长响应。
模型评估
评估使用了语言模型评估工具(由EleutherAI开发)。由于ToxiGen任务没有葡萄牙语版本,因此未进行该评估。感谢Laiviet对LM - Evaluation - Harness中部分任务的翻译。
引用方式
@misc{nicholas22aira,
doi = {10.5281/zenodo.6989727},
url = {https://github.com/Nkluge-correa/Aira},
author = {Nicholas Kluge Corrêa},
title = {Aira},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
}
@phdthesis{kluge2024dynamic,
title={Dynamic Normativity},
author={Kluge Corrêa, Nicholas},
year={2024},
school={Universitäts-und Landesbibliothek Bonn}
}
📄 许可证
Aira-2葡萄牙语124M模型采用Apache许可证2.0版本授权。更多详细信息请参阅LICENSE文件。