Teenytinyllama 160m GGUF

🚀 TeenyTinyLlama-160m-GGUF

本项目提供了来自 nicholasKluge 的 TeenyTinyLlama-160m 模型的量化 GGUF 格式文件。该模型在自然语言处理领域，尤其是巴西葡萄牙语的文本生成任务上具有重要价值，为低资源语言的语言模型研究提供了新的思路和工具。

📦 模型信息

📊 模型评估结果

✨ 主要特性

• 针对性设计：为巴西葡萄牙语文本生成量身打造，解决了多语言模型在葡萄牙语上表现不佳的问题。
• 轻量级模型：参数规模相对较小，降低了计算需求和资源消耗。
• 高效训练：训练时间短，能源消耗低，碳排放少。

🚀 快速开始

基础信息

• 架构：基于 Transformer 的模型，通过因果语言建模进行预训练。
• 规模：162,417,408 个参数。
• 上下文长度：2048 个标记。
• 数据集：[Pt - Corpus Instruct](https://huggingface.co/datasets/nicholasKluge/Pt - Corpus - Instruct)（62 亿个标记）。
• 语言：葡萄牙语。
• 训练步数：458,000 步。
• GPU：1 块 NVIDIA A100 - SXM4 - 40GB。
• 训练时间：约 36 小时。
• 排放量：5.6 KgCO2（德国）。
• 总能耗：15.5 kWh。

代码示例

使用 pipeline

from transformers import pipeline

generator = pipeline("text-generation", model="nicholasKluge/TeenyTinyLlama-160m")

completions  = generator("Astronomia é a ciência", num_return_sequences=2, max_new_tokens=100)

for comp in completions:
  print(f"🤖 {comp['generated_text']}")

使用 AutoTokenizer 和 AutoModelForCausalLM

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained("nicholasKluge/TeenyTinyLlama-160m", revision='main')
model = AutoModelForCausalLM.from_pretrained("nicholasKluge/TeenyTinyLlama-160m", revision='main')

# 将模型移动到设备上
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

model.eval()
model.to(device)

# 对输入进行分词并移动到设备上
inputs = tokenizer("Astronomia é a ciência", return_tensors="pt").to(device)

# 生成文本
completions = model.generate(**inputs, num_return_sequences=2, max_new_tokens=100)

# 打印生成的文本
for i, completion in enumerate(completions):
    print(f'🤖 {tokenizer.decode(completion)}')

🔧 技术细节

训练过程

在训练过程中，模型在多个指标上表现出了良好的收敛性，评估曲线未出现过拟合或饱和的迹象。研究人员推测模型可能处于欠训练状态，进一步训练可能会提高性能。

评估指标

基准测试

在多个基准测试中，模型与其他同类模型进行了比较，展示了其在巴西葡萄牙语任务上的性能。

通用基准测试

巴西葡萄牙语基准测试

微调比较

对模型进行了微调实验，并与 [BERTimbau](https://huggingface.co/neuralmind/bert - base - portuguese - cased) 模型进行了比较。

⚠️ 重要提示

• 幻觉问题：模型可能会生成看似真实但实际上具有误导性或完全错误的内容。
• 偏见和毒性：由于训练数据的原因，模型可能会生成包含社会和历史刻板印象的有毒内容。
• 代码可靠性：模型生成的代码片段和语句可能不正确，不能作为准确的解决方案。
• 语言限制：模型主要设计用于理解标准巴西葡萄牙语，对其他语言的理解可能存在困难。
• 重复和冗长：模型可能会陷入重复循环或生成与提示无关的冗长响应。

建议用户在将模型用于实际应用时进行风险分析，并在与用户交互的应用中对模型输出进行人工审核。

📄 许可证

本模型采用 Apache 2.0 许可证。有关详细信息，请参阅 LICENSE 文件。

📖 引用信息

@misc{correa24ttllama,
  title = {TeenyTinyLlama: open - source tiny language models trained in Brazilian Portuguese},
  author = {Corr{\^e}a, Nicholas Kluge and Falk, Sophia and Fatimah, Shiza and Sen, Aniket and De Oliveira, Nythamar},
  journal = {arXiv preprint arXiv:2401.16640},
  year = {2024}
}

💡 使用建议

• 在使用模型进行文本生成时，合理设置重复惩罚参数，以避免出现重复循环的问题。
• 对于重要的应用场景，建议对模型输出进行人工审核，以确保内容的准确性和可靠性。
• 如果需要进一步提高模型性能，可以考虑对模型进行微调。