Kyro N1.1 7B

🚀 Kyro-n1.1: もっと賢く、鋭く、能力的に優れたモデル

Kyro-n1.1は、Kyro-n1の強化版です。高度な推論能力、改善された理解能力、そして高い応答精度を提供するように設計されています。Qwen2.5 - 7B - Instructをベースに構築され、高度なファインチューニング技術を活用して、複雑なクエリの分析、構造化された応答の提供、より繊細な会話の実現能力を向上させています。

✨ 主な機能

Kyro-n1に対する主な改良点

• 強化された推論能力：Kyro-n1.1は、より強力な論理的思考を示し、深い分析を必要とするタスクにおいてより信頼性が高くなっています。
• より正確な応答：改良されたデータセットの選別とファインチューニング方法により、事実の一貫性が向上しています。
• 広範なコンテキスト理解：改善されたコンテキスト保持能力により、Kyro-n1.1はマルチターンの会話をより首尾一貫して処理できます。
• オープンソース協力に最適化：Open - Neoイニシアチブの一環として、Kyro-n1.1は透明性が高く、アクセスしやすく、コミュニティ主導のモデルとして設計されています。

Kyro-n1.1を選ぶ理由

• 研究開発に最適：AI推論ベンチマークの探索や独自のプロジェクトの強化など、どのような研究開発にも最適なパフォーマンスを備えています。
• 様々なユースケースに対応：一般的な質問応答からコーディング支援、創作的な文章作成まで、様々なアプリケーションに適応します。
• 効率的かつ拡張性が高い：計算効率が高く設計されており、管理しやすいリソース要件を維持しながら、強力なパフォーマンスを発揮します。
• 完全なオープンソース：Open - Neoエコシステムの一部として、Kyro-n1.1は自由に変更し、さまざまなワークフローに統合できます。

🔧 技術詳細

🚀 クイックスタート

Kyro-n1.1 (Qwen2.5) のコードは最新のHugging face transformersに含まれており、最新バージョンのtransformersを使用することをお勧めします。

transformers<4.37.0では、以下のエラーが発生する場合があります。

KeyError: 'qwen2'

コード例

from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "open-neo/Kyro-n1.1-7B"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "What do you think about CRISPR and its effect on the future of humanity?"
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=2048
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

📚 参考文献

もし私たちの成果が役に立った場合、ぜひ引用してください。

@misc{qwen2.5,
    title = {Qwen2.5: A Party of Foundation Models},
    url = {https://qwenlm.github.io/blog/qwen2.5/},
    author = {Qwen Team},
    month = {September},
    year = {2024}
}
@article{qwen2,
      title={Qwen2 Technical Report}, 
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv preprint arXiv:2407.10671},
      year={2024}
}
@misc{kyro-n1.1,
      title={Kyro-n1: Smarter, Sharper, and More Capable }, 
      author={Open-Neo},
      howpublished={https://huggingface.co/collections/open-neo/kyro-n1-67ab2e7bbc76a9aab3030c21},
      year={2025}
}

🤝 参加方法

Kyro-n1.1はコミュニティ主導の取り組みであり、皆さんの貢献を歓迎します！ファインチューニング、テスト、フィードバックの提供など、あなたの意見がこのモデルの将来を形作ります。一緒にOpen - Neoコミュニティに参加して、Kyro-n1.1を改善しましょう！

📄 ライセンス

このモデルはkyroライセンスの下で提供されています。