Tiny Lm

🚀 tiny-lm

このリポジトリは、たった1600万のパラメータを持つ小型の言語モデルを提供しています。主にデバッグやテストに使用されます。このモデルは英語と日本語のウィキペディアデータを基に訓練されています。

🚀 クイックスタート

以下は tiny-lm モデルを使用するコード例です。

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 
model = AutoModelForCausalLM.from_pretrained("sbintuitions/tiny-lm", torch_dtype="auto")
tokenizer = AutoTokenizer.from_pretrained("sbintuitions/tiny-lm", use_fast=False)
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
print(generator("Hello", max_length=30, do_sample=True, top_k=100))

✨ 主な機能

• 軽量：たった1600万のパラメータで、デバッグやテストに最適。
• 多言語対応：英語と日本語をサポートし、英語と日本語のウィキペディアデータを基に訓練されています。

📚 ドキュメント

モデルアーキテクチャ

このモデルはTransformerベースの言語モデルで、4層構造を持ち、隠れ層のサイズは512です。

訓練プロセス

このモデルは英語のウィキペディアと日本語のウィキペディアのデータで訓練され、250億個のトークンに対して従来の言語モデリング目標を最適化しています。

📄 ライセンス

このプロジェクトは MITライセンス の下で提供されています。