Mistral 7B Instruct V0.3 GPTQ

🚀 Mistral-7B-Instruct-v0.3のモデルカード

このモデルは、自然言語処理タスクにおいて、高い性能と柔軟性を兼ね備えた大規模言語モデルです。GPTQ 4ビット量子化バージョンを提供し、効率的な推論が可能です。

🚀 クイックスタート

GPTQモデルの使用

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_name_or_path = "thesven/Mistral-7B-Instruct-v0.3-GPTQ"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)
model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
                                             device_map="auto",
                                             trust_remote_code=False,
                                             revision="main")
model.pad_token = model.config.eos_token_id


prompt_template=f'''
<s><<SYS>>You are a very creative story writer. Write a store on the following topic:</s><</SYS>>
<s>[INST]Write a story about Ai</s>[/INST]
<s>[ASSISTANT]
'''

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.1, do_sample=True, top_p=0.95, top_k=40, max_new_tokens=512)
print(tokenizer.decode(output[0]))

✨ 主な機能

モデルの概要

Mistral-7B-Instruct-v0.3大規模言語モデル（LLM）は、Mistral-7B-v0.3を命令に基づいて微調整したバージョンです。

前バージョンとの比較

Mistral-7B-v0.3は、Mistral-7B-v0.2と比較して、以下の変更があります。

• 語彙数を32768に拡張
• v3トークナイザーをサポート
• 関数呼び出しをサポート

🔧 技術詳細

制限事項

Mistral 7B Instructモデルは、ベースモデルを簡単に微調整して魅力的な性能を達成できることをすばやく実証するためのものです。このモデルには、モデレーションメカニズムがありません。モデルがガードレールをきめ細かく尊重し、モデレートされた出力が必要な環境でのデプロイを可能にする方法について、コミュニティと協力することを期待しています。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

👥 Mistral AIチーム

Albert Jiang, Alexandre Sablayrolles, Alexis Tacnet, Antoine Roux, Arthur Mensch, Audrey Herblin-Stoop, Baptiste Bout, Baudouin de Monicault, Blanche Savary, Bam4d, Caroline Feldman, Devendra Singh Chaplot, Diego de las Casas, Eleonore Arcelin, Emma Bou Hanna, Etienne Metzger, Gianna Lengyel, Guillaume Bour, Guillaume Lample, Harizo Rajaona, Jean-Malo Delignon, Jia Li, Justus Murke, Louis Martin, Louis Ternon, Lucile Saulnier, Lélio Renard Lavaud, Margaret Jennings, Marie Pellat, Marie Torelli, Marie-Anne Lachaux, Nicolas Schuhl, Patrick von Platen, Pierre Stock, Sandeep Subramanian, Sophia Yang, Szymon Antoniak, Teven Le Scao, Thibaut Lavril, Timothée Lacroix, Théophile Gervet, Thomas Wang, Valera Nemychnikova, William El Sayed, William Marshall