Fanar 1 9B Instruct

🚀 Fanar-1-9B-Instruct

Fanar-1-9B-Instruct 是一款強大的阿拉伯語 - 英語大語言模型，由位於 哈馬德·本·哈利法大學（HBKU） 的 卡塔爾計算研究機構（QCRI） 開發，該大學是卡塔爾教育、科學與社區發展基金會的成員。它是 Fanar-1-9B 經過指令微調後的版本。我們在 1 萬億個阿拉伯語和英語標記上對 google/gemma-2-9b 模型進行持續預訓練。特別注重阿拉伯語的豐富性，支持現代標準阿拉伯語（MSA）以及多種阿拉伯方言，包括海灣、黎凡特和埃及方言。通過精心策劃預訓練和指令微調數據，Fanar 模型與伊斯蘭價值觀和阿拉伯文化保持一致。

Fanar-1-9B-Instruct 是 Fanar 生成式人工智能平臺 的核心組件，該平臺提供了一系列功能，包括圖像生成、視頻和圖像理解、深度思考、高級文本轉語音（TTS）和自動語音識別（ASR）、歸因和事實核查、伊斯蘭檢索增強生成（RAG）等多種特性。

我們發佈了一份全面的 報告，涵蓋了 Fanar 生成式人工智能平臺的所有詳細信息。我們還為模型和生成式人工智能平臺提供了 API（在此 請求訪問權限）。

🚀 快速開始

Fanar-1-9B-Instruct 與 Hugging Face 的 transformers 庫（≥ v4.40.0）兼容。以下是如何加載和使用該模型的示例：

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "QCRI/Fanar-1-9B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

# 消息內容可以是阿拉伯語或英語
messages = [
    {"role": "user", "content": "ما هي عاصمة قطر؟"},
]

inputs = tokenizer.apply_chat_template(messages, tokenize=False, return_tensors="pt")
outputs = model.generate(**tokenizer(inputs, return_tensors="pt", return_token_type_ids=False), max_new_tokens=256)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

也支持使用 VLLM 進行推理：

from vllm import LLM, SamplingParams

model_name = "QCRI/Fanar-1-9B-Instruct"

llm = LLM(model=model_name)
sampling_params = SamplingParams(temperature=0.7, max_tokens=256)

# 消息內容可以是阿拉伯語或英語
messages = [
    {"role": "user", "content": "ما هي عاصمة قطر؟"},
]

outputs = llm.chat(messages, sampling_params)
print(outputs[0].outputs[0].text)

✨ 主要特性

• 多語言支持：支持阿拉伯語和英語，涵蓋現代標準阿拉伯語和多種阿拉伯方言。
• 文化對齊：通過精心策劃數據，與伊斯蘭價值觀和阿拉伯文化保持一致。
• 多功能平臺：作為 Fanar 生成式人工智能平臺的核心組件，提供圖像生成、視頻和圖像理解等多種功能。

📦 安裝指南

文檔未提及具體安裝步驟，可參考上述快速開始部分使用兼容的庫加載模型。

📚 詳細文檔

我們發佈了一份全面的 報告，涵蓋了 Fanar 生成式人工智能平臺的所有詳細信息。同時，也提供了模型和生成式人工智能平臺的 API（在此 請求訪問權限）。

🔧 技術細節

模型詳情

模型訓練

預訓練

Fanar-1-9B-Instruct 在 1 萬億個標記上進行了持續預訓練，對阿拉伯語和英語給予了平衡的關注：約 5150 億個英語標記來自精心策劃的 Dolma 數據集子集，4100 億個阿拉伯語標記是我們從各種來源收集、解析和過濾得到的，1020 億個代碼標記來自 The Stack 數據集。我們的代碼庫使用了 LitGPT 框架。

後訓練

Fanar-1-9B-Instruct 經歷了兩階段的後訓練流程：

📄 許可證

該模型遵循 Apache 2.0 許可證。

🔍 評估

評估使用了改進版的 LM Evaluation Harness 和內部文化對齊基準進行。

📖 引用

如果您在研究或應用中使用 Fanar-1-9B-Instruct 或 Fanar 生成式人工智能系統，請引用：

@misc{fanarllm2025,
      title={Fanar: An Arabic-Centric Multimodal Generative AI Platform}, 
      author={Fanar Team and Ummar Abbas and Mohammad Shahmeer Ahmad and Firoj Alam and Enes Altinisik and Ehsannedin Asgari and Yazan Boshmaf and Sabri Boughorbel and Sanjay Chawla and Shammur Chowdhury and Fahim Dalvi and Kareem Darwish and Nadir Durrani and Mohamed Elfeky and Ahmed Elmagarmid and Mohamed Eltabakh and Masoomali Fatehkia and Anastasios Fragkopoulos and Maram Hasanain and Majd Hawasly and Mus'ab Husaini and Soon-Gyo Jung and Ji Kim Lucas and Walid Magdy and Safa Messaoud and Abubakr Mohamed and Tasnim Mohiuddin and Basel Mousi and Hamdy Mubarak and Ahmad Musleh and Zan Naeem and Mourad Ouzzani and Dorde Popovic and Amin Sadeghi and Husrev Taha Sencar and Mohammed Shinoy and Omar Sinan and Yifan Zhang and Ahmed Ali and Yassine El Kheir and Xiaosong Ma and Chaoyi Ruan}},
      year={2025},
      url={https://arxiv.org/abs/2501.13944}, 
}

🙏 致謝

本項目來自 哈馬德·本·哈利法大學（HBKU） 的 卡塔爾計算研究機構（QCRI），該大學是卡塔爾基金會的成員。感謝我們的工程師、研究人員和支持團隊為推進以阿拉伯語為中心的大語言模型所做出的努力。 特別感謝 卡塔爾國通信和信息技術部 通過谷歌雲平臺提供計算基礎設施的持續支持。

📄 許可證

該模型遵循 Apache 2.0 許可證。

⚠️ 重要提示

該模型可能會產生有偏見、冒犯性或不正確的輸出，不適合用於高風險決策（如法律、醫療或財務建議）。建議開發者實施安全檢查，並針對敏感用例進行特定領域的微調。請參考我們的 服務條款 和 隱私政策。

💡 使用建議

Fanar-1-9B-Instruct 可以作為更廣泛的人工智能系統的一部分進行部署。開發者應實施適當的保障措施，以確保文化上的尊重、準確性和安全部署。避免使用該模型生成或傳播有害、非法或誤導性內容。可以通過 Fanar Chat 訪問該模型的一個版本，但請注意，我們正在不斷改進 Fanar 的模型和功能，其答案可能與 Fanar-1-9B-Instruct 的輸出有所不同。