Fanar 1 9B Instruct

🚀 Fanar-1-9B-Instruct

Fanar-1-9B-Instruct は、カタール教育科学社会開発財団の一員である ハマード・ビン・ハリファ大学 (HBKU) の カタールコンピューティング研究所 (QCRI) によって開発された強力なアラビア語と英語の大規模言語モデルです。これは Fanar-1-9B を命令微調整したバージョンです。google/gemma-2-9b モデルを1兆のアラビア語と英語のトークンで継続的に事前学習しています。特に、現代標準アラビア語 (MSA) や、湾岸、レバント、エジプトなどの多様なアラビア方言をサポートすることで、アラビア語の豊かさに配慮しています。Fanarモデルは、事前学習と命令微調整のデータを細心の注意を払って選りすぐっているため、イスラム教の価値観やアラブ文化に沿っています。

Fanar-1-9B-Instruct は、Fanar GenAIプラットフォーム の核心的なコンポーネントで、画像生成、ビデオと画像の理解、深層思考、高度なテキスト読み上げ (TTS) と自動音声認識 (ASR)、帰属と事実検証、イスラム教関連のRAGなど、さまざまな機能を提供します。

Fanar GenAIプラットフォームに関する詳細をすべて記載した包括的な レポート を公開しています。また、モデルとGenAIプラットフォームへのAPIも提供しています（こちら からアクセスを申請できます）。

🚀 クイックスタート

Fanar-1-9B-Instructは、Hugging Faceの transformers ライブラリ (≥ v4.40.0) と互換性があります。以下は、モデルをロードして使用する方法です。

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "QCRI/Fanar-1-9B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

# message content may be in Arabic or English
messages = [
    {"role": "user", "content": "ما هي عاصمة قطر؟"},
]

inputs = tokenizer.apply_chat_template(messages, tokenize=False, return_tensors="pt")
outputs = model.generate(**tokenizer(inputs, return_tensors="pt", return_token_type_ids=False), max_new_tokens=256)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

VLLMを使用した推論もサポートされています。

高度な使用法

from vllm import LLM, SamplingParams

model_name = "QCRI/Fanar-1-9B-Instruct"

llm = LLM(model=model_name)
sampling_params = SamplingParams(temperature=0.7, max_tokens=256)

# message content may be in Arabic or English
messages = [
    {"role": "user", "content": "ما هي عاصمة قطر؟"},
]

outputs = llm.chat(messages, sampling_params)
print(outputs[0].outputs[0].text)

✨ 主な機能

• 会話エージェント（アラビア語のみまたはバイリンガル）
• アラビア語の文化や方言に関する質問応答
• アラブ世界またはアラビア語話者を対象とした教育、政府、市民向けのNLPアプリケーション
• アラビア語の自然言語生成と理解に関する研究

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。Hugging Faceの transformers ライブラリ (≥ v4.40.0) とVLLMを使用できます。以下は、transformers ライブラリのインストール例です。

pip install transformers>=4.40.0

VLLMを使用する場合は、以下のようにインストールできます。

pip install vllm

📚 ドキュメント

モデルの詳細

モデルの学習

事前学習

Fanar-1-9B-Instructは、1兆のトークンで継続的に事前学習され、アラビア語と英語にバランスよく焦点を当てています。具体的には、Dolma データセットの慎重に選りすぐったサブセットから約5150億の英語トークン、さまざまなソースから収集、解析、フィルタリングした4100億のアラビア語トークン、The Stack データセットから選りすぐった1020億のコードトークンを使用しています。コードベースは LitGPT フレームワークを使用しています。

事後学習

Fanar-1-9B-Instructは、2段階の事後学習パイプラインを経ています。

意図された使用方法

Fanar-1-9B-Instructは、以下の用途に構築されています。

• 会話エージェント（アラビア語のみまたはバイリンガル）
• アラビア語の文化や方言に関する質問応答
• アラブ世界またはアラビア語話者を対象とした教育、政府、市民向けのNLPアプリケーション
• アラビア語の自然言語生成と理解に関する研究

Fanar-1-9B-Instructは、より広範なAIシステムの一部として展開することができます。開発者は、文化的に配慮した、正確で安全な展開を確保するために、適切なセーフガードを実装することを推奨します。有害な、違法な、または誤解を招く内容を生成または拡散するために使用してはなりません。

このモデルのバージョンは、Fanar Chat を通じてアクセスできます。Fanarのモデルと機能は継続的に改善されており、Fanar-1-9B-Instructから得られる回答は異なる場合があります。

倫理的な考慮事項と制限事項

Fanar-1-9B-Instructは、流暢で文脈に適した応答を生成することができます。しかし、他の生成モデルと同様に、不確実性があります。モデルは偏見のある、不快な、または誤った出力を生成する可能性があります。このモデルは高リスクの意思決定（例えば、法的、医療的、または金融的なアドバイス）には適していません。Fanar-1-9B-Instructを広範囲にテストし、これらの問題を軽減しようとしましたが、すべての可能なシナリオを解決することはできません。したがって、開発者は、安全チェックを実装し、敏感なユースケースに対してドメイン固有の微調整を行うことをお勧めします。利用規約 と プライバシーポリシー をご参照ください。

このモデルによって生成された出力は、QCRI、HBKU、カタール財団、MCITまたは他の組織や個人の声明とは見なされません。

評価

評価は、LM Evaluation Harnessの修正版と内部の文化的アライメントベンチマークを使用して行われました。

引用

Fanar-1-9B-InstructまたはFanar GenAIシステムを研究やアプリケーションで使用する場合は、以下のように引用してください。

@misc{fanarllm2025,
      title={Fanar: An Arabic-Centric Multimodal Generative AI Platform}, 
      author={Fanar Team and Ummar Abbas and Mohammad Shahmeer Ahmad and Firoj Alam and Enes Altinisik and Ehsannedin Asgari and Yazan Boshmaf and Sabri Boughorbel and Sanjay Chawla and Shammur Chowdhury and Fahim Dalvi and Kareem Darwish and Nadir Durrani and Mohamed Elfeky and Ahmed Elmagarmid and Mohamed Eltabakh and Masoomali Fatehkia and Anastasios Fragkopoulos and Maram Hasanain and Majd Hawasly and Mus'ab Husaini and Soon-Gyo Jung and Ji Kim Lucas and Walid Magdy and Safa Messaoud and Abubakr Mohamed and Tasnim Mohiuddin and Basel Mousi and Hamdy Mubarak and Ahmad Musleh and Zan Naeem and Mourad Ouzzani and Dorde Popovic and Amin Sadeghi and Husrev Taha Sencar and Mohammed Shinoy and Omar Sinan and Yifan Zhang and Ahmed Ali and Yassine El Kheir and Xiaosong Ma and Chaoyi Ruan}},
      year={2025},
      url={https://arxiv.org/abs/2501.13944}, 
}

謝辞

このプロジェクトは、カタール財団の一員である ハマード・ビン・ハリファ大学 (HBKU) の カタールコンピューティング研究所 (QCRI) からのものです。アラビア語中心の大規模言語モデルの開発に尽力してくれたエンジニア、研究者、サポートチームの皆さんに感謝します。

特に、カタール通信情報技術省 がGoogle Cloud Platformを通じてコンピューティングインフラを提供し、継続的にサポートしてくれていることに感謝します。

📄 ライセンス

このモデルは、Apache 2.0 License の下でライセンスされています。