PULI LlumiX 32K

🚀 PULI LlumiX 32K基礎模型（67.4億參數）

PULI LlumiX 32K基礎模型是一個具有67.4億參數的模型，可用於自然語言處理任務。你可以通過我們的演示網站進一步瞭解詳情或測試我們的指令模型。

🚀 快速開始

如需瞭解更多詳情或測試我們的指令模型，請訪問 我們的演示網站。

✨ 主要特性

• 使用OpenChatKit進行訓練，詳情見 github。
• 在匈牙利語數據集上對 LLaMA - 2 - 7B - 32K 模型進行持續預訓練。
• 通過位置插值將模型的上下文長度擴展到32K。
• 檢查點：訓練100000步。

📚 詳細文檔

持續預訓練數據集

模型限制

💻 使用示例

基礎用法

from transformers import pipeline, LlamaForCausalLM, LlamaTokenizer

model = LlamaForCausalLM.from_pretrained("NYTK/PULI-LlumiX-32K")
tokenizer = LlamaTokenizer.from_pretrained("NYTK/PULI-LlumiX-32K")
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
generator = pipeline(task="text-generation", model=model, tokenizer=tokenizer)

print(generator(prompt, max_new_tokens=30)[0]["generated_text"])

📄 許可證

本模型使用llama2許可證。