Allam 7B Instruct Preview

🚀 ALLaM-7B-Instruct-preview

ALLaM是一系列強大的語言模型，由沙特數據與人工智能管理局（SDAIA）旗下的國家人工智能中心開發，旨在推動阿拉伯語言技術（ALT）的發展。ALLaM-AI/ALLaM-7B-Instruct-preview 是從頭開始訓練的。我們的從頭預訓練方法包括兩個步驟：先在4萬億個英語標記上進行訓練，然後在1.2萬億個混合的阿拉伯語/英語標記上繼續訓練。這樣可以在不出現災難性遺忘的情況下保留模型的英語能力，有效地將知識從一種語言分佈遷移到另一種語言分佈。

🚀 快速開始

系統提示

需要注意的是，該模型經過優化，可以在沒有預定義系統提示的情況下運行。雖然Allam沒有默認的系統提示，但它提供了添加自定義系統提示的靈活性。

例如，一個精心設計的系統提示可以是：

• “You are ALLaM, a bilingual English and Arabic AI assistant.”
• 系統提示也可以用阿拉伯語表示："أنت علام، مساعد ذكاء اصطناعي مطور من الهيئة السعودية للبيانات والذكاء الاصطناعي، تجيب على الأسئلة بطريقة مفيدة مع مراعاة القيم الثقافية المحلية."

或者，用戶可以創造性地設置提示，例如：“You are an AI assistant who responds to everything like a pirate.”

系統提示集成在分詞器配置中（通過 apply_chat_template() 模塊訪問）。

代碼示例

ALLaM模型檢查點的權重可以通過 HuggingFace transformers 訪問（測試版本 transformers>=4.40.1）。以下代碼片段展示瞭如何加載模型並使用 ALLaM-AI/ALLaM-7B-Instruct-preview 模型生成文本：

from transformers import AutoModelForCausalLM, AutoTokenizer
allam_model = AutoModelForCausalLM.from_pretrained("ALLaM-AI/ALLaM-7B-Instruct-preview") 
tokenizer = AutoTokenizer.from_pretrained("ALLaM-AI/ALLaM-7B-Instruct-preview") 
messages=[
    {"role": "user", "content": "كيف أجهز كوب شاهي؟"},
]
inputs = tokenizer.apply_chat_template(messages, tokenize=False)
inputs = tokenizer(inputs, return_tensors='pt', return_token_type_ids=False)
inputs = {k: v.to('cuda') for k,v in inputs.items()}
allam_model = allam_model.to('cuda')
response = allam_model.generate(**inputs, max_new_tokens=4096, do_sample=True, top_k=50, top_p=0.95, temperature=.6)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])

✨ 主要特性

• 專為阿拉伯語優化：ALLaM是專門為阿拉伯語訓練的大語言模型家族，能夠有效處理阿拉伯語相關的任務。
• 多語言能力：支持阿拉伯語和英語兩種語言，在保留英語能力的同時，提升了阿拉伯語的處理效果。
• 靈活的訓練方式：提供了從頭開始預訓練和基於開源/權重模型繼續訓練兩種方式，滿足不同的應用需求。

📦 安裝指南

文檔未提及具體安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
allam_model = AutoModelForCausalLM.from_pretrained("ALLaM-AI/ALLaM-7B-Instruct-preview") 
tokenizer = AutoTokenizer.from_pretrained("ALLaM-AI/ALLaM-7B-Instruct-preview") 
messages=[
    {"role": "user", "content": "كيف أجهز كوب شاهي؟"},
]
inputs = tokenizer.apply_chat_template(messages, tokenize=False)
inputs = tokenizer(inputs, return_tensors='pt', return_token_type_ids=False)
inputs = {k: v.to('cuda') for k,v in inputs.items()}
allam_model = allam_model.to('cuda')
response = allam_model.generate(**inputs, max_new_tokens=4096, do_sample=True, top_k=50, top_p=0.95, temperature=.6)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])

高級用法

文檔未提及高級用法相關代碼示例，故跳過此部分。

📚 詳細文檔

預期用途

ALLaM 旨在通過大語言模型加速阿拉伯語言技術的研究和開發。它是構建產品和促進實驗項目的基礎元素之一。

ALLaM系列模型被設計為更大AI系統的一個組件，開發人員在創建這些系統時應納入安全措施。這些安全措施對於確保有效性和安全性之間的平衡至關重要，同時可以最大限度地減少潛在風險，例如模型與外部工具集成可能帶來的風險。

模型詳情

ALLaM是專門為阿拉伯語訓練的大語言模型家族。預訓練主要遵循兩條路徑：

• ALLaM：從頭開始預訓練模型
• ALLaM-Adapted/ALLaM-(**)/(**)-ALLaM：基於開源/權重模型繼續訓練

本次發佈提供了從頭開始預訓練的70億參數指令微調生成模型。

該模型的一些參數如下表所示：

模型描述

• 開發者：SDAIA 旗下的國家人工智能中心
• 模型類型：自迴歸Transformer
• 語言：阿拉伯語、英語
• 許可證：請參閱 LICENSE 文件
• 輸入：文本
• 輸出：文本

訓練詳情

ALLaM-7B-Instruct-preview 在總共5.2萬億個英語和阿拉伯語標記上進行預訓練。我們的訓練代碼庫基於 NVIDIA/MegatronLM 構建。訓練期間的平均模型利用率（MFU）約為42%。我們使用bf16混合精度訓練模型。

倫理考量與侷限性

ALLaM是一個生成式模型，存在固有的不確定性。測試無法涵蓋所有可能的用例，因此無法預測ALLaM在所有上下文中的響應，有時會導致不正確或有偏差的輸出。開發人員必須進行全面的安全評估並進行特定調整，以確保模型適合預期用途。

此模型生成的輸出不被視為國家人工智能中心、沙特數據與人工智能管理局或任何其他組織的聲明。

評估

自動基準測試

阿拉伯語基準測試

• 大規模多任務語言理解（MMLU）：是一個包含許多多項選擇題的評估集，問題來自不同學術水平（小學到大學），通常與人文、STEM或社會科學相關。它最初是一個英語數據集，但也有阿拉伯語版本：
  • 阿拉伯語MMLU：由MBZUAI發佈，包含14,575個原始阿拉伯語問題，涵蓋40個領域。
  • OpenAI MMLU-ar：包含14,042個問題，從OpenAI發佈的原始MMLU基準翻譯而來。
• Exams Arabic (Exams (Ar))：一個包含537個樣本的多項選擇題數據集，涵蓋多個領域，如伊斯蘭研究、科學、人文和物理。
• 阿拉伯文化對齊（ACVA） (ACVA)：該數據集由 gpt-3.5-turbo 生成，包含來自58個不同領域的8,710個是非題。
• 教育與培訓評估委員會（ETEC）：該數據集由ALLaM團隊與 沙特ETEC 合作編譯，包含阿拉伯語多項選擇題，涵蓋從小學到大學後的各個教育水平，共有1,887個測試樣本。
• IEN：該數據集從教育部的 IEN平臺 整理而來，按年級、主題和難度級別組織，全面覆蓋從一年級到高中的整個沙特課程，包含9990個多項選擇題和5823個是非題。
• GAT：通用能力測試（GAT）數據集包含約16,000個阿拉伯語多項選擇題，代表 Qiyas通用能力測試 的各個部分，包括代數、閱讀理解、類比、算術、關聯、比較、完成、上下文理解和幾何。
• AraPro：由我們的領域專家編寫的5001個多項選擇題（MCQ）的精選集，涵蓋數學、科學等多個學科，為評估提供了多樣化的問題集。
• AraMath：由 ArMath 中的605個多項選擇題組成，其中包括數學應用題，內部轉換為多項選擇題。
• Ar-IFEval：一個阿拉伯語指令遵循（IF）評估數據集，旨在通過可驗證的方法自動評估語言模型對指定指令的遵循情況。該數據集由535個實例組成，每個實例包含兩到四個可驗證的指令，可以使用確定性編程方法進行驗證。

所有模型都使用我們專有的評估管道和 LM Evaluation Harness框架 進行評估，以確保公平比較。對於基於API的模型，我們使用生成輸出的精確匹配評估。

ALLaM的評估分數可以在 此處 以JSON格式找到。

各模型在阿拉伯語基準測試中的評估分數如下：

封閉模型在阿拉伯語基準測試中的評估分數如下：

英語基準測試

各模型在英語基準測試中的評估分數如下：

多輪基準測試（MT-Bench）

多輪基準測試（MT-Bench）：是一個具有挑戰性的多輪基準測試，使用GPT-4o作為評判者。MT-Bench包含來自8個領域的80個問題。每個問題都會呈現給模型，模型的響應會提交給GPT-4o進行評分。評判者會分別為第一輪和第二輪的響應給出分數。

該數據集也被自動翻譯成阿拉伯語，並經過手動驗證和文化對齊。

各模型在MT-Bench中的評估分數如下：

引用

如果您發現這項工作有幫助或使用了其中的任何部分，請包含以下引用：

@inproceedings{
    bari2025allam,
    title={{ALL}aM: Large Language Models for Arabic and English},
    author={M Saiful Bari and Yazeed Alnumay and Norah A. Alzahrani and Nouf M. Alotaibi and Hisham Abdullah Alyahya and Sultan AlRashed and Faisal Abdulrahman Mirza and Shaykhah Z. Alsubaie and Hassan A. Alahmed and Ghadah Alabduljabbar and Raghad Alkhathran and Yousef Almushayqih and Raneem Alnajim and Salman Alsubaihi and Maryam Al Mansour and Saad Amin Hassan and Dr. Majed Alrubaian and Ali Alammari and Zaki Alawami and Abdulmohsen Al-Thubaity and Ahmed Abdelali and Jeril Kuriakose and Abdalghani Abujabal and Nora Al-Twairesh and Areeb Alowisheq and Haidar Khan},
    booktitle={The Thirteenth International Conference on Learning Representations},
    year={2025},
    url={https://openreview.net/forum?id=MscdsFVZrN}
}

除了論文的作者，ALLaM團隊正在迅速壯大，得到了大量有才華的內部專業人員的支持，在此我們對他們表示衷心感謝。

致謝

本次發佈由 沙特數據與人工智能管理局 資助。我們感謝 Mishari Almishari 和 Yaser Alonaizan 領導 ALLaM 項目。以下是支持 ALLaM 開發的不同團隊：

技術人員成員

Alhanoof Althnian, Iman Albilali, Jubair Sheikh, Ibrahim Mammu, Ghadah Alsaif, Abdulhameed Alothaimeen, Hadeel Alnegheimish, Emad Alghamdi, Khalid Almubarak, Atheer Al-Barqi, Batool Al-Otaibi, Muhammad Al-Hajji, Abdulraouf Al-Maasoumi, Abdulmajeed Alrowithi, Faisal Qarah, Sakhar Alkhereyf, Arwa Omayrah, Mohammed Al-Saleem, Amal Al-Shammari, Maryam Saif, Raeda Al-Marzooq, Lamyaa Alqhatani, Anas Al-Manie, Ghassan Al-Ward, Shahad Al-Zaidi, Batool Al-Ghoraibi, Alanoud Al-Shammari, Saad Alrazoq.

數據獲取、管理與工程團隊

Ali Alotaibi, Abdulrahman Alsaudi, Abdulaziz Asheyban, Areej Alokaili, Norah Alangari, Hamad Alnamazi, Fatima Alsalman, Saleh Alrusayyis, Moneerah Alballa, Omar AlGhamdi, Raneem Alqahtani, Amirah Albinhar, Nour Al-Aldahan, Khalid Alharbi, Hanouf Aljlayl, Fatimah Alzubaidi, Lama Aldossary, Rania Alzahrani, Shoug Alkhalaf.

開發與基礎設施團隊

Saud AlHamoud, Fahad Alothaimeen, Ahmed Alrowatie, Saad Alajlan, Hassan Almitib, Abdinasir Mohamed, Sultan Alotaibi, Mohammed Alanazi, Mohammed Alsharani, Khalid Aljandal, Faisal Abulnaja, Ahmed Alosaimi, Muhannad Abu Hussain, Nasser Almoffarej, Muhammad Al-Hashem, Ahmed Al-Ghamdi, Amer Ashraf, Abeer Al-khars, Nawaf Babgy, Fevicks Kumar, Islam Gamal, Layla Al-Mutairi, Shroq Al-Ghamdi, Amjad Al-Zahrani, Tjad Clark, Ali bjorn, Meshari Alyami, Abdulrahman Bahkali, Reema Alomair.

項目管理團隊

Naif Shalhoub, Esshaq Almotawa, Sara AlRasheed, Mohammed Alshaalan, Mohammed Albreeh, Nezar Kaaki, Muna Alsahli, Abdullah Aldahami, Faisal Al-Tamimi, Tariq Alrouqi, Sahar Alghamdi, Raghad Abuznadah, Naif Almohammed, Oraib Alhemmyraine, Sarah Binlibdah, Shrooq Almohamdi.

人工評估團隊

Amal Almohammadi, Badr almalki, Amjad Alsaeed, Alhanouf Alotaibi, Rajaa Almalki, Maryam Alasmari, Maha Awaji, Fatima Alshehri, Maryam ALshuwaiman, Ebtesam Alzahrani, Yasmeen Al-gahtani, Atheer Almusailem, Rehab Almalky, Shahad Alsulami, Abdullah Albalawi, Abeer Alqahtani, Lama Alrajeh, Shahad Aqeel, Yasir Alharbi, Rassil Al-Otaibi, Khulud Alawadh, Fatimah Almutairi, Suad Alkhamshi, Abdulrahman Alasmari, Goot Alqahtani, alhanouf Alfoaim, Rawan Aljohani, Aisha Almutairi.

🔧 技術細節

文檔未提及具體技術細節，故跳過此章節。

📄 許可證

本模型使用Apache-2.0許可證，詳情請參閱 LICENSE 文件。