ペルシア語 - ミストラル - 7Bオープンソースモデル - 無料でペルシア語の質問応答と自然言語処理を実現

ホーム

Persian Mistral 7B

aidalによって開発

mistral-7bをファインチューニングしたペルシャ語Q&Aおよび自然言語処理モデル

大規模言語モデル

Transformers

複数言語対応#ペルシャ語Q&A #多言語サポート #LoRAファインチューニング

ダウンロード数 590

リリース時間 : 3/9/2024

モデル概要

Persian-mistralはmistral-7bをファインチューニングしたバージョンで、ペルシャ語Q&Aおよび自然言語処理タスク向けに設計されています。

モデル特徴

ペルシャ語最適化

ペルシャ語に特化してファインチューニングと最適化を行い、ペルシャ語処理能力を大幅に向上

拡張トークナイザー

ペルシャ語ウィキペディアコーパスでSentencePieceトークナイザーを訓練し、元のトークナイザーと統合

多段階トレーニング

事前学習と指示ファインチューニングの2段階トレーニング手法を採用し、モデル性能を向上

LoRAファインチューニング

LoRA (Low-Rank Adaptation) 手法を使用した効率的なファインチューニング

モデル能力

ペルシャ語テキスト生成

ペルシャ語Q&A

ペルシャ語テキスト補完

多言語処理

使用事例

医療情報

医療Q&A

疾病治療方法に関する専門的な質問に回答

医療関連コンテンツの正確なペルシャ語回答を生成可能

歴史情報

歴史イベント記述

歴史イベントに関する詳細な記述を生成

歴史関連コンテンツの正確なペルシャ語回答を生成可能

教育

ペルシャ語学習支援

学習者がペルシャ語コンテンツを理解・生成するのを支援

流暢で自然なペルシャ語出力を提供

🚀 ペルシャ・ミストラル7B

ペルシャ・ミストラル7Bは、ペルシャ語のQAやNLPタスクに特化したモデルです。ミストラル-7Bをファインチューニングして開発されています。

Hugging Face Transformers Library

モデルの説明 | 出力例 | ベンチマーク結果 | 使い方 | 学習とファインチューニング

🚀 クイックスタート

このモデルを使うことで、ペルシャ語の質問応答やNLPタスクを効果的に行うことができます。以下のセクションで詳細を紹介します。

✨ 主な機能

ペルシャ語の質問応答タスクに最適化されています。
ミストラル-7Bをベースにファインチューニングされており、高精度な結果を提供します。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("aidal/Persian-Mistral-7B")
model = AutoModelForCausalLM.from_pretrained("aidal/Persian-Mistral-7B")
input_text = "پایتخت ایران کجاست؟"
input_ids = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

📚 ドキュメント

モデルの説明

ペルシャ・ミストラルは、ペルシャ語のQAやNLPタスク用に設計された、ミストラル-7Bのファインチューニング版です。

出力例

例1:

入力: "درمان اصلی برای افراد مبتلا او آر اس، جایگزینی مایعات و الکترولیت ها در بدن"
学習後の出力: "درمان اصلی برای افراد مبتلا او آر اس، جایگزینی مایعات و الکترولیت ها در بدن است. که به طور معمول از طریق تزریق وریدی استفاده می شود."
学習前の出力: " درمان اصلی برای افراد مبتلا او آر اس، جایگزینی مایعات و الکترولیتها.The most important treatment for people with diarrhea is oral rehydration solution."

例2:

入力: "سال ۱۹۴۴ متفقین به فرانسه اشغال شده توسط آلمان، در عملیاتی در نرماندی حمله کرده و"
学習後の出力: "سال ۱۹۴۴ متفقین به فرانسه اشغال شده توسط آلمان، در عملیاتی در نرماندی حمله کرده و 150,000 نفر از آنها را کشتند."
学習前の出力: "سال ۱۹۴۴ متفقین به فرانسه اشغال شده توسط آلمان، در عملیاتی در نرماندی حمله کرده و خرج گرفت.The United States and France have condemned the killing of a French aid worker in Afghanistan by Tal"

ベンチマーク結果

モデル	データセット	スコア
base-model-7b	ARC-easy	41.92%
base-model-7b	ARC-easy	39.12%
fa-model-7b	ARC-easy	37.89%
base-model-7b	ARC-challenge	37.12%
fa-model-7b	ARC-challenge	39.29%

🔧 技術詳細

学習とファインチューニング

トークナイザーの拡張: ベースのミストラルトークナイザーはペルシャ語をサポートしていません。最初のステップとして、ペルシャ語のウィキペディアコーパスでSentencePieceトークナイザーを学習させ、その後ミストラルトークナイザーと統合しました。
事前学習: 次のステップで、ベースモデルの埋め込み層をペルシャ語トークナイザーのサイズに合わせて拡張しました。そして、LoRA手法を用いて、ウィキペディア-ペルシャ語、イスラム書籍コレクション、およびKhamenei.irのコンテンツという3つの異なるデータセットでモデルを学習させました。

Hugging Face Transformers Library