🚀 カブラ・ラマ-3 8B
カブラ・ラマ-3 8Bは、Meta-Llama-3-8B-InstructをCabra 30kデータセットで改良したバージョンです。このモデルは、ポルトガル語での理解と応答に特化して最適化されています。
当社のチャットでこのモデルを試してみてください。
当社の他のモデルとデータセットや、カブラ・ラマ3 70bもご覧ください。
🚀 クイックスタート
モデルの概要
カブラ・ラマ-3 8Bは、Meta-Llama-3-8B-Instructをベースに、Cabra 30kデータセットを用いて改良されたモデルです。このモデルは、ポルトガル語での理解と応答能力に特化して最適化されています。
モデルの使い方
このモデルは、現在、研究目的での使用を想定しています。可能な研究分野やタスクには、以下のようなものがあります。
- 生成モデルに関する研究
- 生成モデルの制限やバイアスの調査と理解
商用利用は禁止されています。研究目的のみです。詳細については、お問い合わせください。
✨ 主な機能
- ポルトガル語での高度な理解と応答能力
- 生成モデルの研究に適した性能
📚 ドキュメント
ベースモデルの詳細
モデル: Meta-Llama-3-8B-Instruct
Metaは、Llama 3モデルファミリーを開発・公開しました。これは、8Bと70Bのサイズで事前学習され、命令によって調整されたテキスト生成モデルのコレクションです。命令によって調整されたLlama 3モデルは、対話型のユースケースに最適化されており、業界の一般的なベンチマークで多くのオープンソースのチャットモデルを上回っています。また、これらのモデルを開発する際には、有用性と安全性を最適化するために細心の注意を払いました。
モデルアーキテクチャ: Llama 3は、最適化されたトランスフォーマーアーキテクチャを使用する自己回帰型の言語モデルです。調整されたバージョンは、教師付き微調整(SFT)と人間のフィードバックによる強化学習(RLHF)を使用して、有用性と安全性に関する人間の嗜好に合わせて調整されています。
データセット: Cabra 30k
内部のファインチューニング用データセットです。近日公開予定です。
量子化 / GGUF
「quantanization」ブランチには、様々な量子化されたバージョン(GGUF)を配置しています。
評価結果
評価タスクと指標
タスク |
指標 |
LLAMA3 Base Instructの値 |
標準誤差 |
カブラファインチューニングの値 |
標準誤差 |
assin2_rte |
f1_macro |
0.9091 |
0.0041 |
0.9036 |
0.0042 |
|
acc |
0.9093 |
0.0041 |
0.9036 |
0.0042 |
assin2_sts |
pearson |
0.7517 |
0.0074 |
0.6989 |
0.0082 |
|
mse |
0.5985 |
N/A |
0.6958 |
N/A |
bluex |
acc |
0.5786 |
0.0106 |
0.5786 |
0.0106 |
enem |
acc |
0.7012 |
0.0070 |
0.7439 |
0.0067 |
faquad_nli |
f1_macro |
0.7516 |
0.0132 |
0.6988 |
0.0139 |
|
acc |
0.7938 |
0.0112 |
0.7508 |
0.0120 |
hatebr_offensive_binary |
f1_macro |
0.8699 |
0.0064 |
0.8528 |
0.0067 |
|
acc |
0.8700 |
0.0064 |
0.8536 |
0.0067 |
oab_exams |
acc |
0.5062 |
0.0062 |
0.4911 |
0.0062 |
portuguese_hate_speech_binary |
f1_macro |
0.5982 |
0.0120 |
0.5954 |
0.0120 |
|
acc |
0.5993 |
0.0119 |
0.5993 |
0.0119 |
オープンポルトガル語LLMリーダーボードの評価結果
詳細な結果は、こちらと🚀 オープンポルトガル語LLMリーダーボードで確認できます。
指標 |
値 |
平均 |
69.42 |
ENEM Challenge (No Images) |
74.67 |
BLUEX (No Images) |
56.88 |
OAB Exams |
49.29 |
Assin2 RTE |
90.44 |
Assin2 STS |
69.85 |
FaQuAD NLI |
70.38 |
HateBR Binary |
85.05 |
PT Hate Speech Binary |
60.10 |
tweetSentBR |
68.08 |
💻 使用例
基本的な使用法
<s> [INST] Me conte alguns fatos interessantes sobre Brasília. [/INST]
Brasília é a capital do Brasil e foi projetada pelo arquiteto brasileiro Oscar Niemeyer e pelo urbanista Lúcio Costa. Aqui estão alguns fatos interessantes sobre Brasília:
1. Brasília foi construída nos anos 1960. A cidade foi construída para substituir o antigo local da capital do Brasil, Rio de Janeiro, que estava ficando muito lotado.
2. A arquitetura de Brasília é única e é caracterizada por formas modernistas e abstratas. A cidade é dividida em dois planos principais: o plano piloto, que é a área central da cidade, e o plano terrestre, que é a área residencial.
3. Brasília é conhecida por seus marcos icônicos, como a Catedral Metropolitana Nossa Senhora da Aparecida, o Palácio da Alvorada e o Palácio do Planalto, que são os locais de trabalho do presidente do Brasil.
4. A cidade é lar do Estádio Nacional Mane Garrincha, que recebe jogos de futebol e tem capacidade para 72.788 torcedores. O estádio recebe o nome do famoso jogador de futebol Garrincha, que nasceu em Brasília.
5. Brasília é uma cidade relativamente nova e tem uma população de cerca de 3 milhões de pessoas. Apesar de ser relativamente nova, a cidade é conhecida por sua cultura vibrante e é um centro de turismo, negócios e política no Brasil.
</s>
📄 ライセンス
このモデルは、CC BY-NC 2.0ライセンスの下で提供されています。