Teenytinyllama 460m

🚀 TeenyTinyLlama-460m

TeenyTinyLlama-460m是一对用于巴西葡萄牙语文本生成的紧凑型模型，旨在研究低资源语言模型开发的挑战，为相关研究提供支持。

🚀 快速开始

你可以使用如下代码示例快速体验模型的文本生成功能：

基础用法

from transformers import pipeline

generator = pipeline("text-generation", model="nicholasKluge/TeenyTinyLlama-460m")

completions  = generator("Astronomia é a ciência", num_return_sequences=2, max_new_tokens=100)

for comp in completions:
  print(f"🤖 {comp['generated_text']}")

高级用法

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# Load model and the tokenizer
tokenizer = AutoTokenizer.from_pretrained("nicholasKluge/TeenyTinyLlama-460m", revision='main')
model = AutoModelForCausalLM.from_pretrained("nicholasKluge/TeenyTinyLlama-460m", revision='main')

# Pass the model to your device
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

model.eval()
model.to(device)

# Tokenize the inputs and pass them to the device
inputs = tokenizer("Astronomia é a ciência", return_tensors="pt").to(device)

# Generate some text
completions = model.generate(**inputs, num_return_sequences=2, max_new_tokens=100)

# Print the generated text
for i, completion in enumerate(completions):
    print(f'🤖 {tokenizer.decode(completion)}')

✨ 主要特性

• 专注低资源语言：针对巴西葡萄牙语进行优化，弥补低资源语言在大语言模型方面的不足。
• 模型规模紧凑：具有4.68亿参数，在资源受限的情况下也能高效运行。
• 训练数据丰富：基于62亿标记的Pt-Corpus Instruct数据集进行预训练。
• 上下文长度适中：支持2048个标记的上下文长度，能处理较复杂的文本输入。

📦 安装指南

文档未提及具体安装步骤，可参考相关库的官方文档进行安装，主要使用的库包括：

• Transformers
• PyTorch
• Datasets
• Tokenizers
• Sentencepiece
• Accelerate
• FlashAttention
• Codecarbon

📚 详细文档

模型详情

• 架构：基于Transformer的模型，通过因果语言建模进行预训练。
• 规模：468,239,360个参数。
• 上下文长度：2048个标记。
• 数据集：Pt-Corpus Instruct（62亿标记）。
• 语言：葡萄牙语。
• 训练步数：1,200,000步。
• GPU：1块NVIDIA A100-SXM4-40GB。
• 训练时间：约280小时。
• 碳排放：41.1 KgCO2（德国）。
• 总能耗：115.69 kWh。

本仓库包含用于训练该模型的源代码。

预期用途

TeenyTinyLlama主要用于研究开发低资源语言模型相关的挑战。训练期间保存的检查点旨在为进行科学实验提供可控环境。只要使用符合Apache 2.0许可证，也可以对TeenyTinyLlama进行进一步微调并部署。如果你决定使用预训练的TeenyTinyLlama作为微调模型的基础，请自行进行风险和偏差评估。

非预期用途

• 不适合部署：它不是产品，不适合用于面向人类的交互。
• 语言局限性：仅适用于巴西葡萄牙语，不适合翻译或生成其他语言的文本。
• 未针对下游场景微调：未针对语言模型常见的下游上下文进行微调。

局限性

• 幻觉问题：可能生成看似真实但实际上具有误导性或完全错误的内容。
• 偏见和毒性：继承了训练数据中的社会和历史刻板印象，可能生成有害、冒犯性或对个人、群体或社区有害的内容。
• 代码不可靠：可能生成不正确的代码片段和语句，不应将其视为建议或准确的解决方案。
• 语言限制：主要设计用于理解标准巴西葡萄牙语，对其他语言的理解可能存在挑战，导致潜在的误解或错误响应。
• 重复和冗长：可能陷入重复循环（尤其是在生成时重复惩罚设置较低时）或生成与给定提示无关的冗长响应。

因此，尽管我们的模型以宽松的许可证发布，但我们敦促用户在将其用于实际应用时对这些模型进行风险分析，并在模型与受众交互的应用中安排人工审核输出，确保用户始终意识到他们正在与语言模型交互。

评估结果

在训练过程中，两个模型都显示出一致的收敛性。评估曲线从未显示过拟合或饱和的迹象。对于4.6亿参数的模型，我们有意在最佳点之后继续训练了约75,000步，以评估是否有饱和迹象，但评估结果始终更好。我们假设我们的模型训练不足，但如果进一步训练以超过Chinchilla最佳范围，可能会有所改进。

基准测试

使用Language Model Evaluation Harness（由EleutherAI开发）对模型进行评估。使用Laiviet翻译了我们使用的LM-Evaluation-Harness中的任务。标有“*”的模型结果取自Open LLM Leaderboard。

使用葡萄牙语版的EleutherAI LM Evaluation Harness（由Eduardo Garcia创建）对巴西葡萄牙语基准进行评估。

微调比较

为了进一步评估我们模型的下游能力，我们决定对TTL模型在Poeta基准的部分任务子集上进行基本的微调。为了进行比较，我们对BERTimbau模型也应用了相同的微调过程，因为它们也是在巴西葡萄牙语上从头开始训练的大语言模型，并且与我们的模型规模相近。我们使用这些比较来评估我们的预训练是否产生了在下游应用中能够取得良好结果（这里的“良好”指“接近BERTimbau”）的大语言模型。

所有显示的结果都是在训练集上对模型进行微调后，在相应任务测试集上获得的最高准确率分数。所有微调运行都使用了相同的超参数，代码实现可以在我们微调模型的模型卡片中找到。

🔧 技术细节

模型架构

基于Transformer架构，通过因果语言建模进行预训练。

训练过程

使用1块NVIDIA A100-SXM4-40GB GPU进行训练，训练步数为1,200,000步，训练时间约280小时。

碳排放和能耗

训练过程中的碳排放为41.1 KgCO2（德国），总能耗为115.69 kWh。

📄 许可证

TeenyTinyLlama-460m采用Apache License 2.0许可。有关详细信息，请参阅LICENSE文件。

📖 引用方式

@misc{correa24ttllama,
  title = {TeenyTinyLlama: open-source tiny language models trained in Brazilian Portuguese},
  author = {Corr{\^e}a, Nicholas Kluge and Falk, Sophia and Fatimah, Shiza and Sen, Aniket and De Oliveira, Nythamar},
  journal={arXiv preprint arXiv:2401.16640},
  year={2024}
}

@misc{correa24ttllama,
  doi = {10.1016/j.mlwa.2024.100558},
  url = {https://www.sciencedirect.com/science/article/pii/S2666827024000343},
  title = {TeenyTinyLlama: open-source tiny language models trained in Brazilian Portuguese},
  author = {Corr{\^e}a, Nicholas Kluge and Falk, Sophia and Fatimah, Shiza and Sen, Aniket and De Oliveira, Nythamar},
  journal={Machine Learning With Applications},
  publisher = {Springer},
  year={2024}
}

💸 资金支持

本仓库是RAIES (Rede de Inteligência Artificial Ética e Segura)计划的一部分，该项目由巴西FAPERGS - (Fundação de Amparo à Pesquisa do Estado do Rio Grande do Sul)支持。

⚠️ 重要提示

尽管模型以宽松的许可证发布，但使用时需自行进行风险分析，特别是在实际应用中，并安排人工审核输出。

💡 使用建议

若将模型用于下游应用，可参考文档中的微调比较部分，对模型进行微调以获得更好的效果。同时，注意设置合理的重复惩罚参数，避免生成重复或冗长的内容。