base_model: Open-Orca/Mistral-7B-OpenOrca datasets:

• Open-Orca/OpenOrca inference: false language:

• en library_name: transformers license: apache-2.0 model_creator: OpenOrca model_name: Mistral 7B OpenOrca model_type: mistral pipeline_tag: text-generation prompt_template: '<|im_start|>system

  {system_message}<|im_end|>

  <|im_start|>user

  {prompt}<|im_end|>

  <|im_start|>assistant

  ' quantized_by: TheBloke

Mistral 7B OpenOrca - GGUF

• モデル作成者: OpenOrca
• オリジナルモデル: Mistral 7B OpenOrca

説明

このリポジトリには、OpenOrcaのMistral 7B OpenOrcaのGGUF形式モデルファイルが含まれています。

GGUFについて

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。これは、llama.cppによってサポートされなくなったGGMLの代替です。

以下は、GGUFをサポートすることが知られているクライアントとライブラリの不完全なリストです：

• llama.cpp。GGUFのソースプロジェクト。CLIとサーバーオプションを提供します。
• text-generation-webui、最も広く使用されているWeb UIで、多くの機能と強力な拡張機能を備えています。GPUアクセラレーションをサポートします。
• KoboldCpp、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションを備えた完全な機能を備えたWeb UI。特にストーリーテリングに適しています。
• LM Studio、WindowsとmacOS（Silicon）向けの使いやすく強力なローカルGUIで、GPUアクセラレーションを備えています。
• LoLLMS Web UI、多くの興味深いユニークな機能を備えた素晴らしいWeb UIで、簡単なモデル選択のための完全なモデルライブラリを含みます。
• Faraday.dev、WindowsとmacOS（SiliconとIntelの両方）向けの魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションを備えています。
• ctransformers、GPUアクセラレーション、LangChainサポート、OpenAI互換のAIサーバを備えたPythonライブラリ。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、OpenAI互換のAPIサーバを備えたPythonライブラリ。
• candle、パフォーマンスに焦点を当てたRust MLフレームワークで、GPUサポートと使いやすさを含みます。

利用可能なリポジトリ

• GPU推論用のAWQモデル
• GPU推論用のGPTQモデル、複数の量子化パラメータオプション
• CPU+GPU推論用の2、3、4、5、6、8ビットGGUFモデル
• OpenOrcaのオリジナルの非量子化fp16モデル、pytorch形式、GPU推論とさらなる変換用

プロンプトテンプレート: ChatML

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

互換性

これらの量子化されたGGUFv2ファイルは、2023年8月27日以降のllama.cppと互換性があります。d0cee0dのコミット時点で。

また、多くのサードパーティのUIやライブラリとも互換性があります - このREADMEの上部にあるリストをご覧ください。

量子化方法の説明

提供ファイル

注: 上記のRAM数値はGPUオフロードなしを想定しています。レイヤーがGPUにオフロードされると、RAM使用量が減少し、代わりにVRAMが使用されます。