Tiny Lm

🚀 tiny-lm

本仓库提供了一个仅含1600万参数的小型语言模型，主要用于调试和测试。该模型基于英文和日文维基百科数据进行训练。

🚀 快速开始

以下是使用 tiny-lm 模型的代码示例：

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 
model = AutoModelForCausalLM.from_pretrained("sbintuitions/tiny-lm", torch_dtype="auto")
tokenizer = AutoTokenizer.from_pretrained("sbintuitions/tiny-lm", use_fast=False)
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
print(generator("Hello", max_length=30, do_sample=True, top_k=100))

✨ 主要特性

• 轻量级：仅有1600万参数，适合调试和测试。
• 多语言支持：支持英文和日文，基于英文和日文维基百科数据训练。

📚 详细文档

模型架构

该模型是一个基于Transformer的语言模型，具有4层结构，隐藏层大小为512。

训练过程

模型在英文维基百科和日文维基百科数据上进行训练，针对250亿个标记优化传统的语言建模目标。

📄 许可证

本项目采用 MIT许可证。