Vistral 7B Chat Gguf

🚀 Vistral-7B-Chat - GGUF

大規模言語モデルの課題の一つは、ノートパソコンでローカルに実行できないことです。幸い、llama.cpp プロジェクトにより、専用のGPUがなくても、単一のコンピュータ（WindowsまたはMacBook）で Vistral-7B-Chat を動作させることが可能になりました。

🚀 クイックスタート

大規模言語モデルは通常、ノートパソコンでローカルに実行することができません。しかし、llama.cpp プロジェクトを利用することで、専用のGPUがなくても、単一のコンピュータ（WindowsまたはMacBook）で Vistral-7B-Chat を動作させることができます。

✨ 主な機能

• モデル作成者: Viet Mistral
• オリジナルモデル: Vistral-7B-Chat

📚 ドキュメント

説明

このリポジトリには、Vistral-7B-Chat のGGUF形式のモデルファイルが含まれています。

GGUFについて

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。GGMLの代替となるもので、GGMLに比べて多くの利点があります。例えば、より良いトークン化、特殊トークンのサポートなどです。また、メタデータをサポートし、拡張性が高いように設計されています。

以下は、GGUFをサポートすることが知られているいくつかのクライアントとライブラリです。

• llama.cpp。GGUFのソースプロジェクトで、CLIとサーバーオプションを提供します。
• text-generation-webui。最も広く使用されているWeb UIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートしています。
• LM Studio。WindowsとmacOS（Silicon）用の使いやすく強力なローカルGUIで、GPUアクセラレーションをサポートしています。
• ctransformers。GPUアクセラレーション、LangChainサポート、およびOpenAI互換のAIサーバーを備えたPythonライブラリです。

プロンプトテンプレート: Vistral-7B-Chat

<s>[INST] <<SYS>>
あなたは親切で誠実なベトナム語のアシスタントです。常にできる限り有益な回答をし、同時に安全性を保ってください。
あなたの回答には、有害な内容、人種差別、性差別、有毒な内容、危険な内容、または違法な内容を含めないでください。回答が社会的偏見を持たず、前向きな内容であることを確認してください。質問が意味を持たない場合、または情報的に不合理な場合、正確でないことを答える代わりに、その理由を説明してください。質問に対する答えがわからない場合は、わからないと答えて、誤った情報を共有しないでください。
<</SYS>>

{prompt} [/INST]

また、このリポジトリ のチャットテンプレートファイルも使用できます。

LM Studio

VistralをLM Studioでローカルにデプロイするには、指定されたチャットテンプレートをダウンロード して使用する必要があります。プロセスを開始する前に、下の画像のようにチャットテンプレートをアップロードしてください。

この手順は、Vistralをローカルマシンで適切に機能させるために重要です。

langchainでの使用

📄 ライセンス

このモデルはAFL-3.0ライセンスの下で提供されています。

📚 引用

@article{chien2023vistral,
  author = {Chien Van Nguyen, Thuat Nguyen, Quan Nguyen, Huy Huu Nguyen, Björn Plüster, Nam Pham, Huu Nguyen, Patrick Schramowski, Thien Huu Nguyen},
  title = {Vistral-7B-Chat - Towards a State-of-the-Art Large Language Model for Vietnamese},
  year = 2023,
}