Qwen2 96M

🚀 Qwen2-96M

Qwen2-96Mは、Qwen2アーキテクチャに基づく小型言語モデルです。このモデルは、英語のデータセットを使ってゼロから学習され、コンテキスト長は8192トークンです。たった9600万のパラメータしか持たないため、特定のタスクに対して微調整可能な軽量なベースモデルとして機能します。

ただし、このモデルはサイズが小さいため、大規模なモデルと比較すると、推論能力、事実知識、および一般的な性能において大きな制限があります。誤った、関係のない、または意味のない出力を生成する可能性があります。さらに、インターネット上のテキストデータで学習されているため、バイアスが含まれている可能性があり、不適切な内容を生成する可能性もあります。

🚀 クイックスタート

📦 インストール

pip install transformers==4.49.0 torch==2.6.0

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
import torch

model_path = "Felladrin/Qwen2-96M"
prompt = "I've been thinking about"
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path).to(device)
streamer = TextStreamer(tokenizer)
inputs = tokenizer(prompt, return_tensors="pt").to(device)
model.generate(
    inputs.input_ids,
    attention_mask=inputs.attention_mask,
    max_length=tokenizer.model_max_length,
    streamer=streamer,
    eos_token_id=tokenizer.eos_token_id,
    pad_token_id=tokenizer.pad_token_id,
    repetition_penalty=1.1,
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    top_k=0,
    min_p=0.1,
)

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📚 ドキュメント

データセット

• HuggingFaceFW/fineweb-edu
• allenai/dolma
• Skylion007/openwebtext
• NeuML/wikipedia-20250123

パイプラインタグ

text-generation