Llama 3 8B Instruct 64k

🚀 MaziyarPanahi/Llama-3-8B-Instruct-64k

本模型基於@winglian的優秀工作，特別是他的最新模型winglian/Llama-3-8b-64k-PoSE構建。該模型利用PoSE技術將Llama的上下文長度從8k擴展到64k，@rope_theta設置為500000.0。通過在RedPajama V1數據集中300M個6k - 8k token的數據上繼續預訓練，進一步將rope_theta設置為2M，有望將上下文長度進一步擴展到64k以上。此外，還在RedPajama v1數據集的一個子集上進行訓練，訓練了秩為256的穩定LoRA。WandB

✨ 主要特性

• 上下文長度擴展：使用PoSE技術將Llama上下文長度從8k擴展到64k，並有可能進一步擴展。
• 持續預訓練：在RedPajama V1數據集上進行持續預訓練。
• LoRA訓練：訓練了秩為256的穩定LoRA。

📦 安裝指南

暫未提及具體安裝步驟，可參考Hugging Face的transformers庫的通用安裝方法。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
from transformers import pipeline
import torch

model_id = "MaziyarPanahi/Llama-3-8B-Instruct-64k"

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
    # attn_implementation="flash_attention_2"
)

tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    trust_remote_code=True
)

streamer = TextStreamer(tokenizer)

pipeline = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    model_kwargs={"torch_dtype": torch.bfloat16},
    streamer=streamer
)

# Then you can use the pipeline to generate text.

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|im_end|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=8192,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.95,
)
print(outputs[0]["generated_text"][len(prompt):])

🔧 技術細節

• PoSE技術：用於擴展Llama的上下文長度。
• 持續預訓練：在RedPajama V1數據集的300M個6k - 8k token的數據上進行。
• LoRA訓練：訓練了秩為256的穩定LoRA。

📄 許可證

本模型使用Llama3許可證，詳情請見LICENSE。

信息表格