Qwen2.5 0.5B Instruct GGUF

🚀 Qwen2.5-0.5B-Instruct

Qwen2.5は、Qwen大規模言語モデルの最新シリーズです。Qwen2.5に関して、我々は0.50億から720億のパラメータを持つ多数の基礎言語モデルと命令微調整言語モデルをリリースしています。Qwen2.5は、Qwen2に比べて以下の改善点を備えています。

• 専門分野の専門モデルにより、知識量が大幅に増加し、コーディングと数学の能力が大幅に向上しています。
• 命令の追従性、長文生成（8Kトークン以上）、構造化データの理解（例：テーブル）、構造化出力の生成（特にJSON）が大幅に改善されています。また、システムプロンプトの多様性に対する耐性が向上し、チャットボットのロールプレイ実装や条件設定が強化されています。
• 最大128Kトークンの長文脈対応が可能で、最大8Kトークンを生成できます。
• 中国語、英語、フランス語、スペイン語、ポルトガル語、ドイツ語、イタリア語、ロシア語、日本語、韓国語、ベトナム語、タイ語、アラビア語など、29以上の言語をサポートしています。

このリポジトリには、命令微調整された0.5BのQwen2.5モデルが含まれており、以下の特徴を持っています。

• タイプ：因果言語モデル
• 学習段階：事前学習と事後学習
• アーキテクチャ：RoPE、SwiGLU、RMSNorm、Attention QKVバイアス、結合語彙埋め込みを持つtransformers
• パラメータ数：0.49B
• パラメータ数（非埋め込み）：0.36B
• レイヤー数：24
• アテンションヘッド数（GQA）：Qは14、KVは2
• コンテキスト長：最大32,768トークン、生成は8192トークン

詳細については、ブログ、GitHub、およびドキュメントを参照してください。

🚀 クイックスタート

必要条件

Qwen2.5のコードは最新のHugging face transformersに含まれており、最新バージョンのtransformersを使用することをお勧めします。

transformers<4.37.0では、次のエラーが発生する場合があります。

KeyError: 'qwen2'

コード例

以下は、apply_chat_templateを使用してトークナイザーとモデルをロードし、内容を生成するコードスニペットです。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen2.5-0.5B-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

📊 評価とパフォーマンス

詳細な評価結果は、この📑 ブログに報告されています。

GPUメモリの要件とそれぞれのスループットについては、こちらの結果を参照してください。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

📖 引用

もしこの研究が役に立った場合は、以下のように引用してください。

@misc{qwen2.5,
    title = {Qwen2.5: A Party of Foundation Models},
    url = {https://qwenlm.github.io/blog/qwen2.5/},
    author = {Qwen Team},
    month = {September},
    year = {2024}
}

@article{qwen2,
      title={Qwen2 Technical Report}, 
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv preprint arXiv:2407.10671},
      year={2024}
}

モデル情報