RoLlama3-8b-Instruct-2024-06-28オープンソースモデル - ルーマニア語タスク向けに最適化されたテキスト生成ツール

ホーム

Rollama3 8b Instruct 2024 06 28

OpenLLM-Roによって開発

RoLlama3はMeta Llama 3を基に構築されたルーマニア語生成テキストモデルシリーズで、これは8Bパラメータの命令微調整バージョンであり、特にルーマニア語タスクに最適化されています。

大規模言語モデル

Transformers

その他#ルーマニア語生成 #マルチタスク命令 #学術評価最適化

ダウンロード数 62

リリース時間 : 6/6/2024

モデル概要

このモデルはOpenLLM-Roプロジェクトで開発されたルーマニア語大規模言語モデルで、Meta-Llama-3-8Bを微調整しており、様々なルーマニア語自然言語処理タスク、特にアシスタントのようなチャットシナリオに適しています。

モデル特徴

ルーマニア語最適化

特にルーマニア語向けに事前学習と微調整が行われており、ルーマニア語タスクで優れた性能を発揮します

マルチデータセット微調整

7つの異なるルーマニア語データセットを使用して命令微調整を行い、幅広いアプリケーションシナリオをカバーしています

包括的評価

RoMT-Bench、RoCulturaBenchなど、複数のルーマニア語ベンチマークテストで包括的な評価が行われています

モデル能力

ルーマニア語テキスト生成

質問応答システム

機械翻訳

テキスト分類

意味的類似度計算

使用事例

教育

学術的質問応答

ルーマニア語の学術的質問に回答

Romanian_Academic_Benchmarksで精度50.56%

翻訳

英ルーマニア語相互翻訳

英語とルーマニア語間の機械翻訳

WMT_EN-RO BLEU 24.01、WMT_RO-EN BLEU 27.36

感情分析

ルーマニア語感情分類

ルーマニア語テキストの感情分析

LaRoSeDa_binaryマクロF1 97.52%

🚀 OpenLLM-Ro/RoLlama3-8b-Instruct-2024-06-28

RoLlama3は、ルーマニア語用の事前学習および微調整された生成型テキストモデルのファミリーです。このリポジトリは、80億パラメータの命令型モデルに関するものです。他のモデルへのリンクは、このページの下部にあります。

🚀 クイックスタート

このセクションでは、RoLlama3-8b-Instructモデルの概要と基本情報を提供します。

✨ 主な機能

OpenLLM-Roは、ルーマニア語用に特化した大規模言語モデル（LLM）を構築するための最初のオープンソースの取り組みです。OpenLLM-Roは、基礎モデル、命令型モデル、チャット型モデルなど、様々な形式のルーマニア語LLMを開発し、公開しています。

📚 ドキュメント

モデルの詳細

モデルの説明

OpenLLM-Roは、ルーマニア語用に特化した大規模言語モデルを構築するための最初のオープンソースの取り組みです。OpenLLM-Roは、基礎モデル、命令型モデル、チャット型モデルなど、様々な形式のルーマニア語LLMを開発し、公開しています。

属性	详情
開発者	OpenLLM-Ro
言語	ルーマニア語
ライセンス	cc-by-nc-4.0
微調整元のモデル	Meta-Llama-3-8B
学習データ	RoAlpaca, RoAlpacaGPT4, RoDolly, RoSelfInstruct, RoNoRobots, RoOrca, RoCamel

モデルのソース

リポジトリ: https://github.com/OpenLLM-Ro/LLaMA-Factory
論文: https://arxiv.org/abs/2406.18266

モデルの評価結果

モデルは、様々なタスクとデータセットで評価されており、以下にその結果を示します。

テキスト生成タスク

データセット名	評価指標	値
RoMT-Bench	Score	5.15
RoCulturaBench	Score	3.71
Romanian_Academic_Benchmarks	Average accuracy	50.56
OpenLLM-Ro/ro_arc_challenge	Average accuracy	44.70
OpenLLM-Ro/ro_mmlu	Average accuracy	52.19
OpenLLM-Ro/ro_winogrande	Average accuracy	67.23
OpenLLM-Ro/ro_hellaswag	Average accuracy	57.69
OpenLLM-Ro/ro_gsm8k	Average accuracy	30.23
OpenLLM-Ro/ro_truthfulqa	Average accuracy	51.34
LaRoSeDa_binary	Average macro-f1	97.52
LaRoSeDa_multiclass	Average macro-f1	67.41
LaRoSeDa_binary_finetuned	Average macro-f1	94.15
LaRoSeDa_multiclass_finetuned	Average macro-f1	87.13
WMT_EN-RO	Average bleu	24.01
WMT_RO-EN	Average bleu	27.36
WMT_EN-RO_finetuned	Average bleu	26.53
WMT_RO-EN_finetuned	Average bleu	40.36
XQuAD	Average exact_match	39.43
XQuAD	Average f1	59.50
XQuAD_finetuned	Average exact_match	44.45
XQuAD_finetuned	Average f1	59.76
STS	Average spearman	77.20
STS	Average pearson	77.87
STS_finetuned	Average spearman	85.80
STS_finetuned	Average pearson	86.05

ショット数別の評価結果

データセット名	ショット数	評価指標	値
RoMT-Bench	First turn	Score	6.03
RoMT-Bench	Second turn	Score	4.28
OpenLLM-Ro/ro_arc_challenge	0-shot	accuracy	41.90
OpenLLM-Ro/ro_arc_challenge	1-shot	accuracy	44.30
OpenLLM-Ro/ro_arc_challenge	3-shot	accuracy	44.56
OpenLLM-Ro/ro_arc_challenge	5-shot	accuracy	45.50
OpenLLM-Ro/ro_arc_challenge	10-shot	accuracy	46.10
OpenLLM-Ro/ro_arc_challenge	25-shot	accuracy	45.84
OpenLLM-Ro/ro_mmlu	0-shot	accuracy	50.85
OpenLLM-Ro/ro_mmlu	1-shot	accuracy	51.24
OpenLLM-Ro/ro_mmlu	3-shot	accuracy	53.30
OpenLLM-Ro/ro_mmlu	5-shot	accuracy	53.39
OpenLLM-Ro/ro_winogrande	0-shot	accuracy	65.19
OpenLLM-Ro/ro_winogrande	1-shot	accuracy	66.54
OpenLLM-Ro/ro_winogrande	3-shot	accuracy	67.88
OpenLLM-Ro/ro_winogrande	5-shot	accuracy	69.30
OpenLLM-Ro/ro_hellaswag	0-shot	accuracy	56.12
OpenLLM-Ro/ro_hellaswag	1-shot	accuracy	57.37
OpenLLM-Ro/ro_hellaswag	3-shot	accuracy	57.92
OpenLLM-Ro/ro_hellaswag	5-shot	accuracy	58.18
OpenLLM-Ro/ro_hellaswag	10-shot	accuracy	58.85
OpenLLM-Ro/ro_gsm8k	1-shot	accuracy	29.42
OpenLLM-Ro/ro_gsm8k	3-shot	accuracy	30.02
OpenLLM-Ro/ro_gsm8k	5-shot	accuracy	31.24
LaRoSeDa_binary	0-shot	macro-f1	97.43
LaRoSeDa_binary	1-shot	macro-f1	96.60
LaRoSeDa_binary	3-shot	macro-f1	97.90
LaRoSeDa_binary	5-shot	macro-f1	98.13
LaRoSeDa_multiclass	0-shot	macro-f1	63.77
LaRoSeDa_multiclass	1-shot	macro-f1	68.91
LaRoSeDa_multiclass	3-shot	macro-f1	66.36
LaRoSeDa_multiclass	5-shot	macro-f1	70.61
WMT_EN-RO	0-shot	bleu	6.92
WMT_EN-RO	1-shot	bleu	29.33
WMT_EN-RO	3-shot	bleu	29.79
WMT_EN-RO	5-shot	bleu	30.02
WMT_RO-EN	0-shot	bleu	4.50
WMT_RO-EN	1-shot	bleu	30.30
WMT_RO-EN	3-shot	bleu	36.96
WMT_RO-EN	5-shot	bleu	37.70
XQuAD_EM	0-shot	exact_match	4.45
XQuAD_EM	1-shot	exact_match	48.24
XQuAD_EM	3-shot	exact_match	52.03
XQuAD_EM	5-shot	exact_match	53.03
XQuAD_F1	0-shot	f1	26.08
XQuAD_F1	1-shot	f1	68.40
XQuAD_F1	3-shot	f1	71.92
XQuAD_F1	5-shot	f1	71.60
STS_Spearman	1-shot	spearman	77.76
STS_Spearman	3-shot	spearman	76.72
STS_Spearman	5-shot	spearman	77.12
STS_Pearson	1-shot	pearson	77.83
STS_Pearson	3-shot	pearson	77.64
STS_Pearson	5-shot	pearson	78.13