Mistral - 7B - Portugueseオープンソース大規模言語モデル - 無料でデプロイしてポルトガル語のテキスト生成能力を向上させる

ホーム

Mistral 7B Portuguese

cnmoroによって開発

Mistral-7B-Instruct-v0.2を基に微調整したポルトガル語大規模言語モデルで、ポルトガル語テキスト生成能力の向上に焦点を当てています

大規模言語モデル

Transformers

複数言語対応#ポルトガル語命令微調整 #マルチタスクテキスト生成 #ブラジル教育試験

ダウンロード数 124

リリース時間 : 3/3/2024

モデル概要

これはポルトガル語に最適化された7Bパラメータの大規模言語モデルで、Mistral-7B-Instruct-v0.2を基にunslothを使用してポルトガル語命令データセットで微調整されました。元のプロンプト形式を保持しており、様々なポルトガル語テキスト生成タスクに適しています

モデル特徴

ポルトガル語最適化

ポルトガル語テキスト生成タスクに特化して微調整され、ポルトガル語の理解と生成能力を向上させています

元のプロンプト形式を保持

Mistralオリジナルモデルのプロンプト形式を保持しており、移行使用が容易です

マルチタスクサポート

テキスト含意認識、意味的類似性計算、感情分析など、様々なポルトガル語NLPタスクで良好なパフォーマンスを発揮します

モデル能力

ポルトガル語テキスト生成

テキスト含意認識

意味的類似性計算

感情分析

自然言語推論

質問応答システム

使用事例

教育評価

ENEM試験問題解答

ブラジル国家中等教育試験(ENEM)の問題解答に使用

正解率58.08%

OAB弁護士資格試験

ブラジル弁護士資格試験問題の解答に使用

正解率37.08%

自然言語処理

テキスト含意認識

ポルトガル語テキスト間の論理的関係を識別

マクロF1値90.31

意味的類似性計算

ポルトガル語文章間の意味的類似性を計算

ピアソン係数76.55

ソーシャルメディア分析

ヘイトスピーチ検出

ポルトガル語ソーシャルメディアにおけるヘイトスピーチを識別

マクロF1値79.21(HateBRデータセット)

感情分析

ブラジルのツイッター上の感情傾向を分析

マクロF1値64.71

🚀 Mistral-7B-Portuguese

このプロジェクトは、ポルトガル語の命令データセットを使用してmistralai/Mistral-7B-Instruct-v0.2をunslothでファインチューニングしたものです。目的は、この言語におけるモデルのパフォーマンスを向上させることです。

🚀 クイックスタート

このモデルは、ポルトガル語の命令データセットを使用してファインチューニングされています。現在、ベンチマークは実行されていません。

元のプロンプト形式は以下の通りです。

<s>[INST] {Prompt goes here} [/INST]

📚 ドキュメント

評価結果

Open Portuguese LLM Leaderboardの詳細な評価結果はこちらで確認できます。

メトリック	値
平均	64.7
ENEM Challenge (No Images)	58.08
BLUEX (No Images)	48.68
OAB Exams	37.08
Assin2 RTE	90.31
Assin2 STS	76.55
FaQuAD NLI	58.84
HateBR Binary	79.21
PT Hate Speech Binary	68.87
tweetSentBR	64.71

モデル情報

属性	詳情
モデルタイプ	Mistral-7B-Portuguese
訓練データセット	cnmoro/WizardVicuna-PTBR-Instruct-Clean

各タスクの結果

タスクタイプ: テキスト生成
- データセット: ENEM Challenge (No Images)
  - データセットタイプ: eduagarcia/enem_challenge
  - スプリット: train
  - 引数: num_few_shot = 3
  - メトリック: 精度 (acc) = 58.08
  - ソース: Open Portuguese LLM Leaderboard
- データセット: BLUEX (No Images)
  - データセットタイプ: eduagarcia-temp/BLUEX_without_images
  - スプリット: train
  - 引数: num_few_shot = 3
  - メトリック: 精度 (acc) = 48.68
  - ソース: Open Portuguese LLM Leaderboard
- データセット: OAB Exams
  - データセットタイプ: eduagarcia/oab_exams
  - スプリット: train
  - 引数: num_few_shot = 3
  - メトリック: 精度 (acc) = 37.08
  - ソース: Open Portuguese LLM Leaderboard
- データセット: Assin2 RTE
  - データセットタイプ: assin2
  - スプリット: test
  - 引数: num_few_shot = 15
  - メトリック: F1-macro = 90.31
  - ソース: Open Portuguese LLM Leaderboard
- データセット: Assin2 STS
  - データセットタイプ: eduagarcia/portuguese_benchmark
  - スプリット: test
  - 引数: num_few_shot = 15
  - メトリック: ピアソン相関係数 (pearson) = 76.55
  - ソース: Open Portuguese LLM Leaderboard
- データセット: FaQuAD NLI
  - データセットタイプ: ruanchaves/faquad-nli
  - スプリット: test
  - 引数: num_few_shot = 15
  - メトリック: F1-macro = 58.84
  - ソース: Open Portuguese LLM Leaderboard
- データセット: HateBR Binary
  - データセットタイプ: ruanchaves/hatebr
  - スプリット: test
  - 引数: num_few_shot = 25
  - メトリック: F1-macro = 79.21
  - ソース: Open Portuguese LLM Leaderboard
- データセット: PT Hate Speech Binary
  - データセットタイプ: hate_speech_portuguese
  - スプリット: test
  - 引数: num_few_shot = 25
  - メトリック: F1-macro = 68.87
  - ソース: Open Portuguese LLM Leaderboard
- データセット: tweetSentBR
  - データセットタイプ: eduagarcia-temp/tweetsentbr
  - スプリット: test
  - 引数: num_few_shot = 25
  - メトリック: F1-macro = 64.71
  - ソース: Open Portuguese LLM Leaderboard