Qwen2 96M

🚀 Qwen2 - 96M

Qwen2 - 96M是一个基于Qwen2架构的小型语言模型。它在英文数据集上从头开始训练，上下文长度可达8192个标记。该模型仅有9600万个参数，可作为轻量级基础模型，用于特定任务的微调。

不过，由于模型规模较小，与大型模型相比，它在推理、事实知识和通用能力方面存在显著局限，可能会产生错误、不相关或无意义的输出。此外，由于它是基于互联网文本数据训练的，可能存在偏差，并有可能生成不适当的内容。

🚀 快速开始

📦 安装指南

使用以下命令安装所需的依赖库：

pip install transformers==4.49.0 torch==2.6.0

💻 使用示例

基础用法

以下是使用Qwen2 - 96M进行文本生成的示例代码：

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
import torch

model_path = "Felladrin/Qwen2-96M"
prompt = "I've been thinking about"
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path).to(device)
streamer = TextStreamer(tokenizer)
inputs = tokenizer(prompt, return_tensors="pt").to(device)
model.generate(
    inputs.input_ids,
    attention_mask=inputs.attention_mask,
    max_length=tokenizer.model_max_length,
    streamer=streamer,
    eos_token_id=tokenizer.eos_token_id,
    pad_token_id=tokenizer.pad_token_id,
    repetition_penalty=1.1,
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    top_k=0,
    min_p=0.1,
)

📄 许可证

本项目采用Apache - 2.0许可证。

📚 详细文档

训练数据集