Qwen2 96M

🚀 Qwen2 - 96M

Qwen2 - 96M是一個基於Qwen2架構的小型語言模型。它在英文數據集上從頭開始訓練，上下文長度可達8192個標記。該模型僅有9600萬個參數，可作為輕量級基礎模型，用於特定任務的微調。

不過，由於模型規模較小，與大型模型相比，它在推理、事實知識和通用能力方面存在顯著侷限，可能會產生錯誤、不相關或無意義的輸出。此外，由於它是基於互聯網文本數據訓練的，可能存在偏差，並有可能生成不適當的內容。

🚀 快速開始

📦 安裝指南

使用以下命令安裝所需的依賴庫：

pip install transformers==4.49.0 torch==2.6.0

💻 使用示例

基礎用法

以下是使用Qwen2 - 96M進行文本生成的示例代碼：

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
import torch

model_path = "Felladrin/Qwen2-96M"
prompt = "I've been thinking about"
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path).to(device)
streamer = TextStreamer(tokenizer)
inputs = tokenizer(prompt, return_tensors="pt").to(device)
model.generate(
    inputs.input_ids,
    attention_mask=inputs.attention_mask,
    max_length=tokenizer.model_max_length,
    streamer=streamer,
    eos_token_id=tokenizer.eos_token_id,
    pad_token_id=tokenizer.pad_token_id,
    repetition_penalty=1.1,
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    top_k=0,
    min_p=0.1,
)

📄 許可證

本項目採用Apache - 2.0許可證。

📚 詳細文檔

訓練數據集