Phi 3 Portuguese Tom Cat 4k Instruct Q5 K M GGUF PTBR

🚀 noxinc/phi-3-portuguese-tom-cat-4k-instruct-Q5_K_M-GGUF

このモデルは、llama.cppを使用してggml.aiのGGUF-my-repoスペース経由で、rhaymison/phi-3-portuguese-tom-cat-4k-instructからGGUF形式に変換されました。モデルの詳細については、元のモデルカードを参照してください。

🚀 クイックスタート

このモデルは、特定の変換手順を経てGGUF形式に変換されています。使用方法や詳細については以下のセクションを参照してください。

✨ 主な機能

• ポルトガル語に最適化されたテキスト生成機能を持つ。
• GGUF形式に変換されており、llama.cppでの利用が容易。

📦 インストール

llama.cppのインストール

llama.cppをbrewを通じてインストールします。

brew install ggerganov/ggerganov/llama.cpp

💻 使用例

基本的な使用法

CLIでの使用

llama-cli --hf-repo noxinc/phi-3-portuguese-tom-cat-4k-instruct-Q5_K_M-GGUF --model phi-3-portuguese-tom-cat-4k-instruct.Q5_K_M.gguf -p "The meaning to life and the universe is"

サーバーでの使用

llama-server --hf-repo noxinc/phi-3-portuguese-tom-cat-4k-instruct-Q5_K_M-GGUF --model phi-3-portuguese-tom-cat-4k-instruct.Q5_K_M.gguf -c 2048

高度な使用法

Llama.cppリポジトリに記載されている使用手順を直接使用することもできます。

git clone https://github.com/ggerganov/llama.cpp &&             cd llama.cpp &&             make &&             ./main -m phi-3-portuguese-tom-cat-4k-instruct.Q5_K_M.gguf -n 128

📚 ドキュメント

評価結果

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。