Sambalingo Arabic Chat 70B

🚀 SambaLingo阿拉伯語聊天模型70B

SambaLingo阿拉伯語聊天模型70B是一個經過人工對齊的聊天模型，支持阿拉伯語和英語。它基於基礎模型 SambaLingo阿拉伯語基礎模型70B，採用直接偏好優化方法進行訓練。基礎模型則是在 Llama-2-70b 的基礎上，通過 Cultura-X 數據集阿拉伯語部分的280億個標記進行訓練，以適應阿拉伯語。你可以在 SambaLingo聊天空間 中嘗試使用該模型。

🚀 快速開始

使用Hugging Face加載模型

加載分詞器時，請確保設置 use_fast=False。

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("sambanovasystems/SambaLingo-Arabic-Chat-70B", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("sambanovasystems/SambaLingo-Arabic-Chat-70B", device_map="auto", torch_dtype="auto")

與模型管道進行交互

加載分詞器時，請確保設置 use_fast=False。

from transformers import pipeline
pipe = pipeline("text-generation", model="sambanovasystems/SambaLingo-Arabic-Chat-70B", device_map="auto", use_fast=False)
messages = [
                {"role": "user", "content": {YOUR_QUESTION}},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt)[0]
outputs = outputs["generated_text"]

建議的推理參數

• 溫度（Temperature）：0.8
• 重複懲罰（Repetition penalty）：1.0
• 核採樣概率（Top-p）：0.9

提示準則

若要使用此模型進行提示，請使用以下聊天模板：

<|user|>\n{question}</s>\n<|assistant|>\n

提示和生成示例

<|user|>
كيف تصف الالوان لشخص ولد أعمى</s>
<|assistant|>
ليس لدي القدرة على الرؤية، ولكن يمكنني تقديم وصف للألوان بناءً على ما تعلمته من البيانات.\n\nبالنسبة لشخص ولد أعمى، قد يكون من الصعب وصف الألوان لأنها لم تختبرها من قبل. ومع ذلك، يمكننا استخدام الاستعارات والمقارنات لمساعدة هذا الشخص على فهم الألوان. على سبيل المثال، يمكننا وصف اللون الأحمر بأنه دافئ وحيوي، مثل لهب النار أو ثمرة الفراولة الناضجة. يمكننا وصف اللون الأزرق بأنه هادئ ومهدئ، مثل السماء أو المحيط. يمكننا وصف اللون الأخضر بأنه منعش وطبيعي، مثل أوراق الشجر أو العشب. يمكننا وصف اللون الأصفر بأنه مشرق ومبهج، مثل الشمس أو زهرة عباد الشمس. يمكننا وصف اللون الأرجواني بأنه ملكي وفاخر، مثل لون الجواهر أو غروب الشمس. في النهاية، قد يكون من الصعب وصف الألوان لشخص ولد أعمى، ولكن باستخدام الاستعارات والمقارنات، يمكننا مساعدتهم على فهم الفروق الدقيقة في الألوان بشكل أفضل.

✨ 主要特性

• 多語言支持：支持阿拉伯語和英語，適用於更廣泛的用戶群體。
• 人工對齊：經過人工對齊處理，生成的回答更符合人類需求。

📦 安裝指南

文檔中未提及具體安裝步驟，可參考快速開始部分的模型加載方法。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("sambanovasystems/SambaLingo-Arabic-Chat-70B", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("sambanovasystems/SambaLingo-Arabic-Chat-70B", device_map="auto", torch_dtype="auto")

高級用法

from transformers import pipeline
pipe = pipeline("text-generation", model="sambanovasystems/SambaLingo-Arabic-Chat-70B", device_map="auto", use_fast=False)
messages = [
                {"role": "user", "content": {YOUR_QUESTION}},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt)[0]
outputs = outputs["generated_text"]

📚 詳細文檔

模型描述

• 開發者：SambaNova Systems
• 模型類型：語言模型
• 支持語言：阿拉伯語、英語
• 微調基礎模型：Llama-2-70b
• 相關論文：SambaLingo: Teaching Large Language Models New Languages
• 博客文章：sambalingo-open-source-language-experts

訓練細節

對齊階段遵循 Zephyr-7B 的方法，包括兩個階段：監督微調（SFT）和直接性能優化（DPO）。

• 監督微調（SFT）階段：在 ultrachat_200k 數據集和該數據集的谷歌翻譯版本的混合數據上進行。訓練一個輪次，全局批量大小為512，最大序列長度為2048個標記。使用線性衰減學習率2e - 5，熱身比例為10%。
• 直接性能優化（DPO）階段：在 ultrafeedback 數據集和 cai-conversation-harmless 數據集上進行，其中混合了10%的谷歌翻譯數據。訓練三個輪次，全局批量大小為32。使用線性衰減學習率5e - 7，熱身比例為10%，DPO的正則化因子β = 0.1。

分詞器細節

通過添加新語言中最多25000個不重疊的標記，將基礎Llama模型的詞彙表從32000個標記擴展到57000個標記。

評估

評估結果請參考論文：SambaLingo: Teaching Large Language Models New Languages

使用方式

直接使用

使用此模型需遵守Meta的 Llama 2社區許可協議。請在下載模型權重前仔細閱讀並接受該許可協議。

非適用場景

SambaLingo不應用於以下場景：

• 關鍵任務應用程序
• 涉及他人安全的應用程序
• 做出高度重要決策的場景

偏差、風險和侷限性

與所有大語言模型一樣，SambaLingo存在一定的侷限性：

• 幻覺問題：模型有時可能會生成聽起來合理但事實錯誤或無關的信息。
• 語言切換：模型可能會在單個回答中無意地在不同語言或方言之間切換，影響輸出的連貫性和可理解性。
• 重複問題：模型可能會產生重複的短語或句子，導致回答的吸引力和信息量降低。
• 編碼和數學能力：模型在生成準確代碼或解決複雜數學問題方面的性能可能有限。
• 毒性問題：模型可能會無意中生成包含不適當或有害內容的回答。

🔧 技術細節

• 模型基於Transformer架構，在基礎Llama模型上進行微調。
• 訓練過程中使用了監督微調（SFT）和直接性能優化（DPO）兩個階段，以提高模型的性能和對齊度。

📄 許可證

本模型使用Llama 2許可證。

致謝

我們衷心感謝開源人工智能社區；沒有開源，這項工作將無法完成。SambaNova擁抱開源社區，並希望積極為這一倡議做出貢獻。

特別感謝以下組織和團隊：

• Meta開源了LLama 2和FLORES - 200數據集。
• Nguyen等人開源了CulturaX數據集。
• CohereAI發佈了AYA - 101並開源了多語言指令調優數據集。
• EleutherAI提供了開源評估框架。
• Hugging Face - H4團隊開源了Zephyr訓練方法和對齊手冊倉庫。

引用SambaLingo

@misc{csaki2024sambalingo,
      title={SambaLingo: Teaching Large Language Models New Languages}, 
      author={Zoltan Csaki and Bo Li and Jonathan Li and Qiantong Xu and Pian Pawakapan and Leon Zhang and Yun Du and Hengyu Zhao and Changran Hu and Urmish Thakker},
      year={2024},
      eprint={2404.05829},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}