Tiny Lm

🚀 tiny-lm

本倉庫提供了一個僅含1600萬參數的小型語言模型，主要用於調試和測試。該模型基於英文和日文維基百科數據進行訓練。

🚀 快速開始

以下是使用 tiny-lm 模型的代碼示例：

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 
model = AutoModelForCausalLM.from_pretrained("sbintuitions/tiny-lm", torch_dtype="auto")
tokenizer = AutoTokenizer.from_pretrained("sbintuitions/tiny-lm", use_fast=False)
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
print(generator("Hello", max_length=30, do_sample=True, top_k=100))

✨ 主要特性

• 輕量級：僅有1600萬參數，適合調試和測試。
• 多語言支持：支持英文和日文，基於英文和日文維基百科數據訓練。

📚 詳細文檔

模型架構

該模型是一個基於Transformer的語言模型，具有4層結構，隱藏層大小為512。

訓練過程

模型在英文維基百科和日文維基百科數據上進行訓練，針對250億個標記優化傳統的語言建模目標。

📄 許可證

本項目採用 MIT許可證。