Mistral Portuguese Luana 7b Mental Health Q5 K M GGUF PTBR

🚀 noxinc/Mistral-portuguese-luana-7b-mental-health-Q5_K_M-GGUF

このモデルは、rhaymison/Mistral-portuguese-luana-7b-mental-health から、llama.cpp を使用してGGML.aiの GGUF-my-repo スペースを介してGGUF形式に変換されました。モデルの詳細については、元のモデルカード を参照してください。

🚀 クイックスタート

📦 インストール

llama.cppをbrewを通じてインストールします。

brew install ggerganov/ggerganov/llama.cpp

💻 使用例

基本的な使用法

llama.cppのCLIを起動する例です。

llama-cli --hf-repo noxinc/Mistral-portuguese-luana-7b-mental-health-Q5_K_M-GGUF --model mistral-portuguese-luana-7b-mental-health.Q5_K_M.gguf -p "The meaning to life and the universe is"

高度な使用法

llama.cppのサーバーを起動する例です。

llama-server --hf-repo noxinc/Mistral-portuguese-luana-7b-mental-health-Q5_K_M-GGUF --model mistral-portuguese-luana-7b-mental-health.Q5_K_M.gguf -c 2048

また、このチェックポイントは、Llama.cppリポジトリに記載されている 使用手順 を直接使用することもできます。

git clone https://github.com/ggerganov/llama.cpp &&             cd llama.cpp &&             make &&             ./main -m mistral-portuguese-luana-7b-mental-health.Q5_K_M.gguf -n 128

📚 詳細ドキュメント

モデル情報

評価結果

• タスク: テキスト生成
  • データセット: ENEM Challenge (No Images)
    • 精度 (Accuracy): 60.53
    • ソース: Open Portuguese LLM Leaderboard
  • データセット: BLUEX (No Images)
    • 精度 (Accuracy): 48.26
    • ソース: Open Portuguese LLM Leaderboard
  • データセット: OAB Exams
    • 精度 (Accuracy): 38.04
    • ソース: Open Portuguese LLM Leaderboard
  • データセット: Assin2 RTE
    • F1マクロ (F1-macro): 91.3
    • ソース: Open Portuguese LLM Leaderboard
  • データセット: Assin2 STS
    • ピアソン相関係数 (Pearson): 74.98
    • ソース: Open Portuguese LLM Leaderboard
  • データセット: FaQuAD NLI
    • F1マクロ (F1-macro): 60.57
    • ソース: Open Portuguese LLM Leaderboard
  • データセット: HateBR Binary
    • F1マクロ (F1-macro): 76.86
    • ソース: Open Portuguese LLM Leaderboard
  • データセット: PT Hate Speech Binary
    • F1マクロ (F1-macro): 70.05
    • ソース: Open Portuguese LLM Leaderboard
  • データセット: tweetSentBR
    • F1マクロ (F1-macro): 64.9
    • ソース: Open Portuguese LLM Leaderboard

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。