Mt0 Xxl Mt Q4 K M GGUF

🚀 Markobes/mt0-xxl-mt-Q4_K_M-GGUF

このモデルは、bigscience/mt0-xxl-mt から、ggml.ai の GGUF-my-repo を通じて llama.cpp を使用して GGUF 形式に変換されました。モデルの詳細については、元のモデルカード を参照してください。

🚀 クイックスタート

このモデルは、テキスト生成タスクに使用できます。以下の手順で、llama.cpp を使用してこのモデルを利用する方法を説明します。

📦 インストール

llama.cpp のインストール

Mac と Linux では、brew を使用して llama.cpp をインストールできます。

brew install llama.cpp

💻 使用例

CLI での使用

llama-cli --hf-repo Markobes/mt0-xxl-mt-Q4_K_M-GGUF --hf-file mt0-xxl-mt-q4_k_m.gguf -p "The meaning to life and the universe is"

サーバーでの使用

llama-server --hf-repo Markobes/mt0-xxl-mt-Q4_K_M-GGUF --hf-file mt0-xxl-mt-q4_k_m.gguf -c 2048

Llama.cpp リポジトリの手順を使用する場合

Step 1: llama.cpp を GitHub からクローンします。

git clone https://github.com/ggerganov/llama.cpp

Step 2: llama.cpp フォルダに移動し、LLAMA_CURL=1 フラグと他のハードウェア固有のフラグ（例：Linux の Nvidia GPU の場合は LLAMA_CUDA=1）を使用してビルドします。

cd llama.cpp && LLAMA_CURL=1 make

Step 3: メインバイナリを通じて推論を実行します。

./llama-cli --hf-repo Markobes/mt0-xxl-mt-Q4_K_M-GGUF --hf-file mt0-xxl-mt-q4_k_m.gguf -p "The meaning to life and the universe is"

または

./llama-server --hf-repo Markobes/mt0-xxl-mt-Q4_K_M-GGUF --hf-file mt0-xxl-mt-q4_k_m.gguf -c 2048

📚 ドキュメント

データセット

• bigscience/xP3mt
• mc4

言語サポート

• af
• am
• ar
• az
• be
• bg
• bn
• ca
• ceb
• co
• cs
• cy
• da
• de
• el
• en
• eo
• es
• et
• eu
• fa
• fi
• fil
• fr
• fy
• ga
• gd
• gl
• gu
• ha
• haw
• hi
• hmn
• ht
• hu
• hy
• ig
• is
• it
• iw
• ja
• jv
• ka
• kk
• km
• kn
• ko
• ku
• ky
• la
• lb
• lo
• lt
• lv
• mg
• mi
• mk
• ml
• mn
• mr
• ms
• mt
• my
• ne
• nl
• 'no'
• ny
• pa
• pl
• ps
• pt
• ro
• ru
• sd
• si
• sk
• sl
• sm
• sn
• so
• sq
• sr
• st
• su
• sv
• sw
• ta
• te
• tg
• th
• tr
• uk
• und
• ur
• uz
• vi
• xh
• yi
• yo
• zh
• zu

タグ

• text2text-generation
• llama-cpp
• gguf-my-repo

ウィジェットの使用例

• テキスト: "Life is beautiful! Translate to Mongolian." 例のタイトル: "mn-en translation"
• テキスト: "Le mot japonais «憂鬱» veut dire quoi en Odia?" 例のタイトル: "jp-or-fr translation"
• テキスト: "Stell mir eine schwierige Quiz Frage bei der es um Astronomie geht. Bitte stell die Frage auf Norwegisch." 例のタイトル: "de-nb quiz"
• テキスト: "一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。Would you rate the previous review as positive, neutral or negative?" 例のタイトル: "zh-en sentiment"
• テキスト: "一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评？" 例のタイトル: "zh-zh sentiment"
• テキスト: "Suggest at least five related search terms to "Mạng neural nhân tạo"." 例のタイトル: "vi-en query"
• テキスト: "Proposez au moins cinq mots clés concernant «Réseau de neurones artificiels»." 例のタイトル: "fr-fr query"
• テキスト: "Explain in a sentence in Telugu what is backpropagation in neural networks." 例のタイトル: "te-en qa"
• テキスト: "Why is the sky blue?" 例のタイトル: "en-en qa"
• テキスト: 'Write a fairy tale about a troll saving a princess from a dangerous dragon. The fairy tale is a masterpiece that has achieved praise worldwide and its moral is "Heroes Come in All Shapes and Sizes". Story (in Spanish):' 例のタイトル: "es-en fable"
• テキスト: 'Write a fable about wood elves living in a forest that is suddenly invaded by ogres. The fable is a masterpiece that has achieved praise worldwide and its moral is "Violence is the last refuge of the incompetent". Fable (in Hindi):' 例のタイトル: "hi-en fable"

パイプラインタグ

text2text-generation

ベースモデル

bigscience/mt0-xxl-mt

モデル指標

📄 ライセンス

このモデルは、Apache 2.0 ライセンスの下で提供されています。