Arabiangpt 03B

🚀 ArabianGPTモデルの概要

ArabianGPT-0.3Bは、アラビア語の自然言語処理と生成を強化するために開発されたGPT-2ベースのモデルです。このモデルは、アラビア語の言語的複雑性とニュアンスに対応するために最適化されています。

🚀 クイックスタート

事前学習モデルの利用方法

この事前学習済みのアラビア語モデルを実験ツールとして利用し、その能力を評価し、微調整を支援し、様々な下流タスクでのパフォーマンスを評価することができます。モデルのパフォーマンス指標とテストされた具体的な下流タスクについての包括的な理解のために、技術レポートを確認することをお勧めします。

コードを使った使用例

このモデルはアラビア語のテキスト生成タスクに適しています。Transformers Pipelineを使用した例を以下に示します。

from transformers import pipeline

pipe = pipeline("text-generation", model="riotu-lab/ArabianGPT-03B", max_new_tokens=512)
text = ''
pipe.predict(text)

✨ 主な機能

• アーキテクチャ：GPT-2
• モデルサイズ：3億4500万のパラメータ
• レイヤー数：24
• モデルアテンションレイヤー (MAL)：16
• コンテキストウィンドウサイズ：1024トークン

📦 インストール

このセクションでは、事前学習モデルの利用に関する情報が提供されていますが、具体的なインストール手順は記載されていません。

📚 ドキュメント

モデルの開発背景

ArabianGPT-0.3Bは、ArabianLLMイニシアチブの一環として、Prince Sultan Universityのロボット工学とIoTラボで共同開発されました。このモデルは、アラビア語の自然言語モデリングと生成を強化することを目的としています。

モデルの役割

ArabianGPT-0.3Bは、アラビア語の言語処理を進歩させるために重要です。特に、アラビア語の形態論と方言に固有の課題に対処します。

制限事項と倫理的考慮事項

• モデルは、特定のシナリオでコンテキスト理解やテキスト生成の制限がある場合があります。
• 誤情報や有害なコンテンツの拡散を防ぐために、倫理的な使用を強調します。

🔧 技術詳細

学習に関する情報

• データセット：科学論文や一般的なテキストを含むスクレイピングされたテキスト
• データサイズ：23GB
• トークナイザー：Aranizer 64K
• トークン数：33億を超える
• ハードウェア：4台のNDIVIA A100 GPU
• 学習期間：45日
• パフォーマンス：損失率3.82

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

謝辞

Prince Sultan University、特にロボット工学とIoTラボに感謝します。

連絡先

問い合わせは、riotu@psu.edu.saまでお願いします。

⚠️ 重要提示

ArabianGPT-0.3Bによって生成される有害な内容、不正確な情報、または不適切なコンテンツについて、当方は一切の責任を負いません。ユーザーは、モデルの出力を利用する際には自己責任で行ってください。

💡 使用建议

モデルのパフォーマンス指標とテストされた具体的な下流タスクについての包括的な理解のために、技術レポートを確認することをお勧めします。