PULI LlumiX 32K

🚀 PULI LlumiX 32K base (67.4億パラメータ)

このモデルの詳細やインストラクトモデルのテストについては、デモサイトをご覧ください。

• OpenChatKitを使用して学習されています github
• LLaMA - 2 - 7B - 32Kモデルは、ハンガリー語のデータセットで継続的に事前学習されました
• モデルは位置補間によりコンテキスト長を32Kに拡張されています
• チェックポイント: 100,000ステップ

✨ 主な機能

• ハンガリー語と英語のデータセットを用いた学習
• コンテキスト長を32Kに拡張

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

from transformers import pipeline, LlamaForCausalLM, LlamaTokenizer

model = LlamaForCausalLM.from_pretrained("NYTK/PULI-LlumiX-32K")
tokenizer = LlamaTokenizer.from_pretrained("NYTK/PULI-LlumiX-32K")
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
generator = pipeline(task="text-generation", model=model, tokenizer=tokenizer)

print(generator(prompt, max_new_tokens=30)[0]["generated_text"])

📚 ドキュメント

継続的事前学習用のデータセット

• ハンガリー語: 79億単語、5000単語以上の文書 (763,000件)
• 英語: Long Context QA (20億単語), BookSum (7800万単語)

制限事項

• 最大シーケンス長: max_seq_length = 32,768
• データ型: float16
• 語彙サイズ: 32,000

📄 ライセンス

このモデルはLlama2のライセンスに基づいています。