Ulizallama3

🚀 UlizaLlama3模型卡片

UlizaLlama3是基於Meta-Llama-3-8B開發的語言模型，針對斯瓦希里語進行了優化，能更好地理解和生成該語言的文本，在斯瓦希里語的問答等任務中表現出色。

🚀 快速開始

你可以使用這個筆記本進行推理。我們建議你在L4或A100 GPU上進行推理。

✨ 主要特性

• 斯瓦希里語任務表現出色：在斯瓦希里語相關任務上有顯著提升。
• 保留基礎能力：保留了原始Llama 3模型的通用語言能力。
• 針對性優化：針對斯瓦希里語的理解和生成進行了優化。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

在問答任務中，可直接向模型輸入斯瓦希里語問題，模型將給出相應回答。例如：

問題：Andika hadithi ya sungura （翻譯：寫一個關於兔子的故事）
UlizaLlama3回答：Ilipokuwa ni zamani, kulikuwa na sungura mdogo aliyeishi katika msitu. Kila siku, angechunguza msitu, akigundua mimea na wanyama wapya. Siku moja, alikutana na kiumbe cha fumbo - dragoni. Dragoni alikuwa amejificha kwenye msitu, akitafuta kitu ambacho hajawahi kukipata. Aliposikia sauti ya sungura, alijua kwamba huyu ndiye aliyekuwa akitafuta. Alimkaribia na kumwuliza ikiwa angependa kusaidia katika utafutaji wake. Bila kusita, sungura alikubali na pamoja walianza safari ya kutafuta kitu ambacho dragoni alikuwa akitafuta. Baada ya siku nyingi za kutafuta, hatimaye walikipata. Ilikuwa ni jiwe la kichawi lenye nguvu kubwa. Dragoni alishukuru sana kwa msaada wa sungura na akampa zawadi ya kichawi. Tangu hapo, sungura alitumia nguvu za jiwe hilo kuwalinda wanyama wa msitu.（翻譯：從前，有一隻小兔子住在森林裡。每天，它都會探索森林，發現新的植物和動物。有一天，它遇到了一個神秘的生物——一條龍。龍一直在森林裡躲藏，尋找他從未找到過的東西。當它聽到兔子的聲音時，它知道這就是它一直在尋找的。它走近兔子，問它是否願意幫助它尋找。兔子毫不猶豫地同意了，它們一起開始了尋找龍所尋找的東西的旅程。經過許多天的尋找，他們終於找到了。那是一塊有巨大力量的魔法石頭。龍非常感謝兔子的幫助，並給了它一份魔法禮物。從那時起，兔子用那塊石頭的力量保護森林裡的動物。）

高級用法

在特定領域的問答中，如醫療、農業等，可輸入更專業的斯瓦希里語問題，模型會根據訓練數據給出相應回答。例如：

問題：Ni vitu gani vinasabibisha kuumwa na kichwa?（翻譯：什麼會導致頭痛？）
UlizaLlama3回答：Kuna sababu kadhaa zinazoweza kusababisha maumivu ya kichwa, ikiwa ni pamoja na msongo wa mawazo, ukosefu wa usingizi, mzio, majeraha, na hali za matibabu. Ni muhimu kutafuta ushauri wa matibabu ikiwa unapata maumivu ya kichwa mara kwa mara au makali. （翻譯：有幾個原因可能導致頭痛，包括壓力、睡眠不足、過敏、受傷和醫療狀況。如果你經常或嚴重頭痛，尋求醫療建議很重要。）

📚 詳細文檔

模型詳情

UlizaLlama3是一個擁有80億參數的語言模型，基於meta-llama/Meta-Llama-3-8B構建。它經過特別優化，在處理和生成斯瓦希里語文本方面表現出色，旨在提高斯瓦希里語使用者和研究人員的自然語言理解和生成能力。

模型描述

關鍵特性

• 斯瓦希里語任務性能提升：在斯瓦希里語任務上有更好的表現。
• 保留通用語言能力：保持了原始Llama 3模型的通用語言能力。
• 優化斯瓦希里語處理：針對斯瓦希里語的理解和生成進行了優化。

訓練過程

• 基於LoRA的持續預訓練：使用公開可用的斯瓦希里語語料庫進行持續預訓練，使用Meta/Llama3分詞器進行預處理。主要關注因果語言建模，即訓練模型根據前面的斯瓦希里語標記預測下一個斯瓦希里語標記。採用LoRA技術，凍結基礎Meta/Llama3模型的參數，並引入額外的輕量級組件（適配器）。這些適配器專門用於捕捉斯瓦希里語的複雜性、術語和細微差別。這種方法在利用預訓練的Meta/Llama3模型的知識和為斯瓦希里語進行優化之間取得了平衡，而無需承擔重新訓練整個Llama3模型的計算成本。
• 基於LoRA的指令微調：在精心策劃的斯瓦希里語指令和響應數據集上進行微調，包括特定任務的數據以提高在常見語言任務上的性能，強調在斯瓦希里語中保持連貫性和上下文理解，納入安全數據集以提高模型生成安全和道德響應的能力，包括有害內容的示例和適當的無害替代方案，重點是減少偏差並提高模型在斯瓦希里語環境中對文化敏感性的理解。

近似數據集大小

• 持續預訓練：[11.3 GB的文本]
• 指令微調：[66,280個指令 - 響應對]

模型信息

模型用途

UlizaLlama3針對下游任務進行了優化，特別是那些需要斯瓦希里語、英語或兩者兼有的指令數據集的任務。組織可以針對其特定領域進一步微調該模型。潛在應用領域包括：

• 特定領域的問答。
• 智能助手聊天功能：醫療、農業、法律、教育、旅遊和酒店、公共服務、金融、通信、客戶服務、商業等領域。

樣本評估提示

非預期使用

開發的大語言模型（LLM）能力僅用於研究、社會公益和內部使用目的。對於商業使用和分發，鼓勵組織/個人聯繫Jacaranda Health。為確保UlizaLlama3的道德和負責任使用，我們制定了一套指南。這些指南將活動和實踐分為三個主要領域：禁止行為、高風險活動和欺騙性做法。用戶通過理解和遵守這些指令，可以為更安全、更值得信賴的環境做出貢獻。

• 禁止行為：避免促進暴力、兒童剝削、人口販運和其他犯罪；禁止騷擾和歧視行為；不從事無執照的專業活動；妥善處理個人數據，避免數據濫用；尊重第三方權利；不創建惡意軟件。
• 高風險活動：不在軍事、核或間諜領域使用；避免參與非法武器或毒品活動；不在關鍵基礎設施或運輸技術中使用；不推廣倡導自我傷害或暴力的內容。
• 欺騙性做法：不創建或推廣欺詐性或誤導性信息；避免誹謗性內容和未經請求的消息；不未經授權冒充他人；不虛假聲稱HauaLlama的輸出；不推廣虛假的在線互動。

偏差、風險和侷限性

HauaLlama是一項充滿潛力的前沿技術，但也存在固有風險。到目前為止，廣泛的測試主要在斯瓦希里語和英語中進行，仍有大量未知場景。因此，與其他大語言模型一樣，HauaLlama的輸出可預測性仍然難以捉摸，當用戶提出問題時，它偶爾可能會生成不準確、有偏差或其他令人反感的響應。考慮到這一點，負責任的做法是，在將UlizaLlama3部署到任何應用程序之前，開發人員必須根據其特定用例的獨特需求進行認真的安全測試和細緻的微調。

聯繫我們

如有任何問題、反饋或商業諮詢，請發送郵件至ai@jacarandahealth.org。

📄 許可證

本模型使用CC BY - NC - SA 4.0 DEED許可證。