Afrollama V1

🚀 AfroLlama3

AfroLlama3是一個專注於處理和生成斯瓦希里語、科薩語、祖魯語、約魯巴語、豪薩語和英語文本的語言模型。它基於Meta-Llama-3-8B構建，經過特定的訓練和優化，在這些語言的任務上表現出色，能為相關用戶和研究者提供強大的自然語言處理能力。

🚀 快速開始

你可以使用這個筆記本進行推理。我們建議在L4或A100 GPU上進行推理。

✨ 主要特性

• 多語言優化：在斯瓦希里語、科薩語、祖魯語、約魯巴語、豪薩語和英語任務上有顯著提升的性能。
• 通用語言能力：保留了原始Llama 3模型的通用語言處理能力。
• 針對性優化：針對理解和生成斯瓦希里語、科薩語、祖魯語、約魯巴語、豪薩語和英語文本進行了優化。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

📚 詳細文檔

模型詳情

AfroLlama3是一個擁有80億參數的語言模型，它建立在meta-llama/Meta-Llama-3-8B的基礎上。該模型經過特別增強，能夠出色地處理和生成斯瓦希里語、科薩語、祖魯語、約魯巴語、豪薩語和英語文本，旨在提升使用這些語言的用戶和研究者的自然語言理解和生成能力。

模型描述

關鍵特性

• 在斯瓦希里語、科薩語、祖魯語、約魯巴語、豪薩語和英語任務上有更好的性能表現。
• 保留了原始Llama 3模型的通用語言能力。
• 針對理解和生成斯瓦希里語、科薩語、祖魯語、約魯巴語、豪薩語和英語文本進行了優化。

訓練過程

AfroLlama的訓練過程主要分為三個階段：

1. 基於LoRA的各語言持續預訓練：使用公開可用的各語言語料庫進行持續預訓練，主要關注因果語言建模，即訓練模型根據前文預測下一個標記。在此過程中，我們採用了LoRA技術，凍結了基礎Meta/Llama3模型的參數，並引入了額外的輕量級組件（適配器）。這些適配器專門用於捕捉每種語言的特點、術語和細微差別，且在不同語言中保持相同的LoRA超參數。
2. 合併：使用基於Ties（修剪、選擇和符號）的合併方法，將特定語言的預訓練檢查點合併為一個獨立的模型。Ties方法包括三個步驟：
   • 重置微調中變化不顯著的參數（修剪）：識別在持續預訓練過程中變化不大的參數，並將其重置為原始值，以減少過擬合併提高泛化能力。
   • 解決符號衝突（干擾）：處理不同訓練示例或目標導致參數符號更新衝突的情況，避免干擾或降低模型性能。
   • 僅合併與最終商定符號一致的參數：僅合併或更新那些符號與共識方向（多數符號）一致的參數，有助於減少噪聲並提高模型的整體一致性。
3. 基於LoRA的指令微調：
   • 在精心策劃的斯瓦希里語、科薩語、祖魯語、約魯巴語、豪薩語和英語指令及響應數據集上對合並後的模型進行微調。
   • 包含特定任務數據，以提高在常見語言任務上的性能。
   • 強調在斯瓦希里語、科薩語、祖魯語、約魯巴語、豪薩語和英語中保持連貫性和上下文理解。
   • 納入安全數據集，提高模型生成安全和符合道德規範響應的能力。
   • 包含有害內容示例和適當的非有害替代方案。
   • 專注於減少偏差，提高模型在斯瓦希里語、科薩語、祖魯語、約魯巴語、豪薩語和英語語境中對文化敏感性的理解。

指令微調數據集規模：約[331,400個指令 - 響應對]

模型信息

應用場景

AfroLlama針對下游任務進行了優化，尤其適用於需要斯瓦希里語、科薩語、祖魯語、約魯巴語、豪薩語和英語指令數據集的任務。組織可以根據特定領域進一步微調該模型，潛在應用領域包括：

• 特定領域的問答：為特定領域的問題提供準確的答案。
• 智能助手聊天功能：在醫療保健、農業、法律、教育、旅遊和酒店、公共服務、金融、通信、客戶服務、商業等領域提供智能對話服務。

樣本評估提示

非預期使用場景

開發的大語言模型（LLM）能力僅用於研究、社會公益和內部使用目的。對於商業使用和分發，建議組織/個人聯繫Jacaranda Health。為確保AfroLlama的道德和負責任使用，我們制定了一套指南，將活動和實踐分為三個主要類別：禁止行為、高風險活動和欺騙性做法。用戶通過理解和遵守這些指令，可以為更安全、更值得信賴的環境做出貢獻。

1. 禁止行為：
   • 非法活動：避免宣傳暴力、兒童剝削、人口販賣和其他犯罪行為。
   • 騷擾和歧視：不得進行欺凌、威脅或歧視行為。
   • 未經授權的職業活動：不得從事無執照的專業活動。
   • 數據濫用：在處理個人數據時需獲得適當的同意。
   • 侵犯權利：尊重第三方權利。
   • 惡意軟件創建：避免創建有害軟件。
2. 高風險活動：
   • 危險行業：不得在軍事、核或間諜領域使用。
   • 武器和毒品：避免參與非法武器或毒品活動。
   • 關鍵系統：不得在關鍵基礎設施或運輸技術中使用。
   • 宣傳傷害：避免宣傳自殘或暴力的內容。
3. 欺騙性做法：
   • 虛假信息：避免創建/宣傳欺詐或誤導性信息。
   • 誹謗和垃圾郵件：避免發佈誹謗性內容和未經請求的消息。
   • 冒充：未經授權不得冒充他人。
   • 虛假陳述：不得對AfroLlama的輸出進行虛假聲明。
   • 虛假在線互動：不得宣傳虛假的在線互動。

偏差、風險和侷限性

AfroLlama是一項充滿潛力的前沿技術，但也存在一些固有的風險。到目前為止，廣泛的測試主要集中在斯瓦希里語、科薩語、祖魯語、約魯巴語、豪薩語和英語上，仍有大量未知的場景有待探索。因此，與其他大語言模型一樣，AfroLlama的輸出可預測性仍然難以捉摸，在用戶提示下，它偶爾可能會生成不準確、有偏差或其他令人反感的響應。

考慮到這一點，在將AfroLlama部署到任何應用程序之前，開發者必須根據其特定用例的獨特需求，進行認真的安全測試和細緻的微調。

聯繫我們

如有任何問題、反饋或商業諮詢，請發送郵件至ai@jacarandahealth.org。