Mistral-7B-Portuguese開源大語言模型 - 免費部署提升葡萄牙語文本生成能力

首頁

Mistral 7B Portuguese

由cnmoro開發

基於Mistral-7B-Instruct-v0.2微調的葡萄牙語大語言模型，專注於提升葡萄牙語文本生成能力

大型語言模型

Transformers

支持多種語言#葡萄牙語指令微調 #多任務文本生成 #巴西教育考試

下載量 124

發布時間 : 3/3/2024

模型概述

這是一個針對葡萄牙語優化的7B參數大語言模型，基於Mistral-7B-Instruct-v0.2使用unsloth在葡萄牙語指令數據集上微調而成，保留了原始提示格式，適用於多種葡萄牙語文本生成任務

模型特點

葡萄牙語優化

專門針對葡萄牙語文本生成任務進行微調，提升葡萄牙語理解和生成能力

保留原始提示格式

保持了Mistral原始模型的提示格式，便於遷移使用

多任務支持

在多種葡萄牙語NLP任務上表現良好，包括文本蘊含、語義相似度、情感分析等

模型能力

葡萄牙語文本生成

文本蘊含識別

語義相似度計算

情感分析

自然語言推理

問答系統

使用案例

教育評估

ENEM考試題目解答

用於解答巴西國家中等教育考試(ENEM)題目

準確率58.08%

OAB律師資格考試

用於解答巴西律師資格考試題目

準確率37.08%

自然語言處理

文本蘊含識別

識別葡萄牙語文本間的邏輯關係

宏F1值90.31

語義相似度計算

計算葡萄牙語句子間的語義相似度

皮爾遜係數76.55

社交媒體分析

仇恨言論檢測

識別葡萄牙語社交媒體中的仇恨言論

宏F1值79.21(HateBR數據集)

情感分析

分析巴西推特上的情感傾向

宏F1值64.71

🚀 米斯特拉爾7B葡萄牙語模型

本項目是對米斯特拉爾7B模型的微調版本，旨在提升其在葡萄牙語上的性能表現。通過使用特定的葡萄牙語指令數據集和微調工具，讓模型在葡萄牙語相關任務中表現更優。

🚀 快速開始

這是 mistralai/Mistral-7B-Instruct-v0.2 的微調版本，使用 unsloth 在葡萄牙語指令數據集上進行微調，以嘗試提高模型在該語言上的性能。

尚未執行任何基準測試。

使用了原始的提示格式：

<s>[INST] {Prompt goes here} [/INST]

📚 詳細文檔

開放葡萄牙語大語言模型排行榜評估結果

詳細結果可查看此處

指標	數值
平均值	64.7
巴西國家高中考試挑戰（無圖像）	58.08
BLUEX（無圖像）	48.68
巴西律師協會考試	37.08
Assin2 文本蘊含識別	90.31
Assin2 語義文本相似度	76.55
FaQuAD 自然語言推理	58.84
巴西仇恨言論二分類	79.21
葡萄牙語仇恨言論二分類	68.87
巴西推文情感分析	64.71

模型信息

屬性	詳情
支持語言	英語、葡萄牙語
數據集	cnmoro/WizardVicuna-PTBR-Instruct-Clean
模型名稱	Mistral-7B-Portuguese

各任務評估詳情

任務類型：文本生成
評估數據集及結果：
1. ENEM Challenge (No Images)
  - 數據集類型：eduagarcia/enem_challenge
  - 數據劃分：訓練集
  - 少樣本數量：3
  - 評估指標：準確率（acc），值為 58.08
  - 數據來源：Open Portuguese LLM Leaderboard
2. BLUEX (No Images)
  - 數據集類型：eduagarcia-temp/BLUEX_without_images
  - 數據劃分：訓練集
  - 少樣本數量：3
  - 評估指標：準確率（acc），值為 48.68
  - 數據來源：Open Portuguese LLM Leaderboard
3. OAB Exams
  - 數據集類型：eduagarcia/oab_exams
  - 數據劃分：訓練集
  - 少樣本數量：3
  - 評估指標：準確率（acc），值為 37.08
  - 數據來源：Open Portuguese LLM Leaderboard
4. Assin2 RTE
  - 數據集類型：assin2
  - 數據劃分：測試集
  - 少樣本數量：15
  - 評估指標：F1 宏平均（f1_macro），值為 90.31
  - 數據來源：Open Portuguese LLM Leaderboard
5. Assin2 STS
  - 數據集類型：eduagarcia/portuguese_benchmark
  - 數據劃分：測試集
  - 少樣本數量：15
  - 評估指標：皮爾遜相關係數（pearson），值為 76.55
  - 數據來源：Open Portuguese LLM Leaderboard
6. FaQuAD NLI
  - 數據集類型：ruanchaves/faquad-nli
  - 數據劃分：測試集
  - 少樣本數量：15
  - 評估指標：F1 宏平均（f1_macro），值為 58.84
  - 數據來源：Open Portuguese LLM Leaderboard
7. HateBR Binary
  - 數據集類型：ruanchaves/hatebr
  - 數據劃分：測試集
  - 少樣本數量：25
  - 評估指標：F1 宏平均（f1_macro），值為 79.21
  - 數據來源：Open Portuguese LLM Leaderboard
8. PT Hate Speech Binary
  - 數據集類型：hate_speech_portuguese
  - 數據劃分：測試集
  - 少樣本數量：25
  - 評估指標：F1 宏平均（f1_macro），值為 68.87
  - 數據來源：Open Portuguese LLM Leaderboard
9. tweetSentBR
  - 數據集類型：eduagarcia-temp/tweetsentbr
  - 數據劃分：測試集
  - 少樣本數量：25
  - 評估指標：F1 宏平均（f1_macro），值為 64.71
  - 數據來源：Open Portuguese LLM Leaderboard