Teenytinyllama 160m GGUF

🚀 TeenyTinyLlama-160m-GGUF

本項目提供了來自 nicholasKluge 的 TeenyTinyLlama-160m 模型的量化 GGUF 格式文件。該模型在自然語言處理領域，尤其是巴西葡萄牙語的文本生成任務上具有重要價值，為低資源語言的語言模型研究提供了新的思路和工具。

📦 模型信息

📊 模型評估結果

✨ 主要特性

• 針對性設計：為巴西葡萄牙語文本生成量身打造，解決了多語言模型在葡萄牙語上表現不佳的問題。
• 輕量級模型：參數規模相對較小，降低了計算需求和資源消耗。
• 高效訓練：訓練時間短，能源消耗低，碳排放少。

🚀 快速開始

基礎信息

• 架構：基於 Transformer 的模型，通過因果語言建模進行預訓練。
• 規模：162,417,408 個參數。
• 上下文長度：2048 個標記。
• 數據集：[Pt - Corpus Instruct](https://huggingface.co/datasets/nicholasKluge/Pt - Corpus - Instruct)（62 億個標記）。
• 語言：葡萄牙語。
• 訓練步數：458,000 步。
• GPU：1 塊 NVIDIA A100 - SXM4 - 40GB。
• 訓練時間：約 36 小時。
• 排放量：5.6 KgCO2（德國）。
• 總能耗：15.5 kWh。

代碼示例

使用 pipeline

from transformers import pipeline

generator = pipeline("text-generation", model="nicholasKluge/TeenyTinyLlama-160m")

completions  = generator("Astronomia é a ciência", num_return_sequences=2, max_new_tokens=100)

for comp in completions:
  print(f"🤖 {comp['generated_text']}")

使用 AutoTokenizer 和 AutoModelForCausalLM

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加載模型和分詞器
tokenizer = AutoTokenizer.from_pretrained("nicholasKluge/TeenyTinyLlama-160m", revision='main')
model = AutoModelForCausalLM.from_pretrained("nicholasKluge/TeenyTinyLlama-160m", revision='main')

# 將模型移動到設備上
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

model.eval()
model.to(device)

# 對輸入進行分詞並移動到設備上
inputs = tokenizer("Astronomia é a ciência", return_tensors="pt").to(device)

# 生成文本
completions = model.generate(**inputs, num_return_sequences=2, max_new_tokens=100)

# 打印生成的文本
for i, completion in enumerate(completions):
    print(f'🤖 {tokenizer.decode(completion)}')

🔧 技術細節

訓練過程

在訓練過程中，模型在多個指標上表現出了良好的收斂性，評估曲線未出現過擬合或飽和的跡象。研究人員推測模型可能處於欠訓練狀態，進一步訓練可能會提高性能。

評估指標

基準測試

在多個基準測試中，模型與其他同類模型進行了比較，展示了其在巴西葡萄牙語任務上的性能。

通用基準測試

巴西葡萄牙語基準測試

微調比較

對模型進行了微調實驗，並與 [BERTimbau](https://huggingface.co/neuralmind/bert - base - portuguese - cased) 模型進行了比較。

⚠️ 重要提示

• 幻覺問題：模型可能會生成看似真實但實際上具有誤導性或完全錯誤的內容。
• 偏見和毒性：由於訓練數據的原因，模型可能會生成包含社會和歷史刻板印象的有毒內容。
• 代碼可靠性：模型生成的代碼片段和語句可能不正確，不能作為準確的解決方案。
• 語言限制：模型主要設計用於理解標準巴西葡萄牙語，對其他語言的理解可能存在困難。
• 重複和冗長：模型可能會陷入重複循環或生成與提示無關的冗長響應。

建議用戶在將模型用於實際應用時進行風險分析，並在與用戶交互的應用中對模型輸出進行人工審核。

📄 許可證

本模型採用 Apache 2.0 許可證。有關詳細信息，請參閱 LICENSE 文件。

📖 引用信息

@misc{correa24ttllama,
  title = {TeenyTinyLlama: open - source tiny language models trained in Brazilian Portuguese},
  author = {Corr{\^e}a, Nicholas Kluge and Falk, Sophia and Fatimah, Shiza and Sen, Aniket and De Oliveira, Nythamar},
  journal = {arXiv preprint arXiv:2401.16640},
  year = {2024}
}

💡 使用建議

• 在使用模型進行文本生成時，合理設置重複懲罰參數，以避免出現重複循環的問題。
• 對於重要的應用場景，建議對模型輸出進行人工審核，以確保內容的準確性和可靠性。
• 如果需要進一步提高模型性能，可以考慮對模型進行微調。