Sciphi Mistral 7B 32k

🚀 SciPhi-Mistral-7B-32kモデルカード

SciPhi-Mistral-7B-32kは、Mistral-7B-v0.1からファインチューニングされた大規模言語モデル（LLM）です。このモデルは、通常の命令調整データと合成教科書を含む10億以上のトークンを使用して、4エポックにわたるファインチューニングプロセスを経ています。この作業の目的は、モデルの科学的推論能力と教育能力を向上させることです。最良の結果を得るには、Alpacaのプロンプトガイドラインに従ってください。

SciPhi-AIは、無料のホスト型APIを通じて利用できますが、公開されているモデルは異なる場合があります。現在は、SciPhi-Self-RAG-Mistral-7B-32kが利用可能です。詳細については、こちらのドキュメントを参照してください。

📦 モデルアーキテクチャ

ベースモデル: Mistral-7B-v0.1

アーキテクチャの特徴:

• Transformerベースのモデル
• Grouped-Query Attention
• Sliding-Window Attention
• Byte-fallback BPEトークナイザー

💻 使用例

基本的な使用法

私たちは、以下のようなマッピングを推奨します。

messages = [
    {
        "role": "system",
        "content": "You are a friendly chatbot who always responds in the style of a pirate",
    },
    {"role": "user", "content": "How many helicopters can a human eat in one sitting?"},
]

goes to --->

### System:
You are a friendly chatbot who always responds in the style of a pirate

### Instruction:
How many helicopters can a human eat in one sitting?

### Response:
...

📚 参考文献

1. Lian, W., Goodson, B., Wang, G., Pentland, E., Cook, A., Vong, C., & Teknium. (2023). MistralOrca: Mistral-7B Model Instruct-tuned on Filtered OpenOrcaV1 GPT-4 Dataset. HuggingFace repository. リンク
2. Mukherjee, S., Mitra, A., Jawahar, G., Agarwal, S., Palangi, H., & Awadallah, A. (2023). Orca: Progressive Learning from Complex Explanation Traces of GPT-4. arXiv preprint arXiv:2306.02707.
3. Longpre, S., Hou, L., Vu, T., Webson, A., Chung, H. W., Tay, Y., Zhou, D., Le, Q. V., Zoph, B., Wei, J., & Roberts, A. (2023). The Flan Collection: Designing Data and Methods for Effective Instruction Tuning. arXiv preprint arXiv:2301.13688.
4. Mistral AI. (2023). Model Card for Mistral-7B-v0.1. The Mistral-7B-v0.1 Large Language Model (LLM) is a pretrained generative text model with 7 billion parameters. Mistral-7B-v0.1 outperforms Llama 2 13B on all benchmarks tested. For full details, please refer to the paper and release blog post. Model Architecture: Transformer with Grouped-Query Attention, Sliding-Window Attention, and Byte-fallback BPE tokenizer. リンク

🤝 謝辞

この作業に貢献してくれたAI Alignment Lab、vikp、jph00 などの皆様に感謝します。

📄 ライセンス

MITライセンス