Gams 9B Instruct

🚀 GaMS-9B-Instruct模型卡片

GaMS-2B、GaMS-9B和GaMS-27B是GaMS（斯洛文尼亞語生成模型）系列的新型改進和更大規模的模型。這些模型基於谷歌的Gemma 2系列，並在斯洛文尼亞語、英語以及部分克羅地亞語、塞爾維亞語和波斯尼亞語語料庫上進行了持續預訓練。

這是GaMS-9B模型的SFT版本。

✨ 主要特性

• 多語言支持：支持斯洛文尼亞語、英語、克羅地亞語、波斯尼亞語和塞爾維亞語等多種語言。
• 持續預訓練：在多種語料庫上進行持續預訓練，提升模型性能。
• SFT版本：經過監督微調，更適合特定任務。

📦 安裝指南

本模型可通過pipeline API運行，以下是示例代碼：

from transformers import pipeline

model_id = "cjvt/GaMS-9B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="cuda" # 若要在Mac設備上運行，可將其替換為 "mps"
)

# 響應生成示例
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pipeline(message, max_new_tokens=512)
print("模型響應:", response[0]["generated_text"][-1]["content"])

# 對話鏈示例
new_message = response[0]["generated_text"]
new_message.append({"role": "user", "content": "Lahko bolj podrobno opišeš ta dogodek?"})
response = pipeline(new_message, max_new_tokens=1024)
print("模型響應:", response[0]["generated_text"][-1]["content"])

若要進行多GPU推理，可將device_map設置為auto：

from transformers import pipeline

model_id = "cjvt/GaMS-9B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="auto"
)

# 響應生成示例
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pipeline(message, max_new_tokens=512)
print("模型響應:", response[0]["generated_text"][-1]["content"])

# 對話鏈示例
new_message = response[0]["generated_text"]
new_message.append({"role": "user", "content": "Lahko bolj podrobno opišeš ta dogodek?"})
response = pipeline(new_message, max_new_tokens=1024)
print("模型響應:", response[0]["generated_text"][-1]["content"])

📚 詳細文檔

基本信息

數據

CPT數據

模型的持續預訓練分為兩個階段。第一階段使用平行的英-斯（某些情況下包括克羅地亞語）語料庫來對齊語言。第二階段，模型在單獨的英語、斯洛文尼亞語、克羅地亞語、波斯尼亞語和塞爾維亞語語料庫上進行訓練。

平行對齊語料庫

各對齊級別的解釋：

• 文檔級別：平行文檔被連接成一個單獨的文檔。
• 單獨文檔：平行文檔未進行顯式對齊。
• 段落級別：平行文檔的段落被連接（斯洛文尼亞語/英語文檔的第一段後面跟著另一種語言的第一段，然後是第一種語言的第二段，依此類推）。

第二階段語料庫

備註：

• 以下語料庫從MetaFida中排除：dgt15_sl、classlawiki_sl、tweet_sl、janes_tweet、janes_forum、janes_news。
• 塞爾維亞語維基百科從西裡爾字母轉換為拉丁字母。

SFT數據

我們的SFT訓練數據包括約25000個訓練示例和1500個驗證示例。數據集是以下數據集的混合：

• GaMS-Instruct-GEN 1.0
• GaMS-Instruct-DH 1.0：從該數據集中隨機選擇3000個示例。
• GaMS-Instruct-MED 1.0：從該數據集中隨機選擇3000個示例。
• 平行語料庫EN-SL RSDO4 2.0：對該語料庫進行了額外過濾。首先，使用NeMo Curator運行FastText語言識別，僅保留源語言被檢測為英語且目標語言為斯洛文尼亞語的示例。接下來，運行COMET模型評估翻譯。僅保留COMET分數高於0.945的示例（約8000個示例）。
• Aya數據集：僅從該數據集中選取英語和塞爾維亞語示例。塞爾維亞語示例從西裡爾字母轉換為拉丁字母。
• 數學競賽：我們從2001年至2010年斯洛文尼亞全國數學競賽的PDF文件中提取文本。使用olmOCR從PDF中提取文本，並手動糾正提取的文本。這為我們提供了約150個已解決的數學問題。

訓練

模型在Leonardo HPC的Booster分區上進行訓練。

CPT

我們使用NVIDIA NeMo 2.0框架對模型進行持續預訓練。模型在BF16混合精度下使用張量並行（跨4個GPU）、序列並行和激活重計算進行訓練。模型在32個節點上進行訓練，每個節點包含4個A100 64GB GPU。平行對齊訓練大約需要4小時，第二階段大約需要40小時。

模型使用帶有線性預熱的餘弦學習率調度器進行訓練，並使用以下超參數。

平行對齊：

• 預熱步數：150
• 最小學習率：5e-6
• 最大學習率：2e-5
• 恆定步數：0
• 批量大小：512（400萬個標記）

第二階段：

• 預熱步數：500
• 最小學習率：5e-6
• 最大學習率：5e-5
• 恆定步數：100
• 批量大小：512（400萬個標記）

SFT

對於監督微調，我們使用帶有DeepSpeed ZeRO-3的Transformers庫。模型在BF16精度下進行訓練，使用流水線並行將其分佈在4個GPU上。模型在一個包含4個A100 64GB GPU的節點上進行訓練。我們對優化器使用CPU卸載。

模型使用帶有線性預熱的餘弦學習率調度器進行調整，並使用以下超參數：

• 訓練輪數：訓練進行了5輪，但根據驗證損失，最佳性能的模型在第二輪後獲得，因此我們保留了該模型。
• 批量大小：128
• 預熱步數：150
• 最小學習率：1e-7
• 最大學習率：5e-6
• 恆定步數：0

評估

模型使用斯洛文尼亞SuperGLUE分類任務集合在SloBench上進行評估。模型的指令版本還在英-斯翻譯和斯-英翻譯任務上進行了評估。此外，我們在斯洛文尼亞LLM評估上對模型進行了評估。

評估代碼：

• SloBench任務
• 斯洛文尼亞LLM評估

斯洛文尼亞LLM評估結果

下圖展示了GaMS模型、基礎Gemma 2模型和斯洛文尼亞GPT（基於Mistral 7B的斯洛文尼亞語開源模型）之間的比較。所有模型均在零樣本場景下進行評估。

SloBench結果

GaMS 2B、9B和27B模型在3樣本場景下進行評估，但MultiRC和翻譯任務使用零樣本。GaMS-9B-Instruct在所有任務上均在零樣本場景下進行評估。我們使用引導解碼來確保響應格式正確。

斯洛文尼亞SuperGLUE

英-斯翻譯（基準測試前11名模型）

斯-英翻譯（基準測試前10名模型）

使用和限制（取自Gemma 2）

這些模型有一些用戶應該瞭解的限制。

預期用途

開源大語言模型（LLM）在各個行業和領域有廣泛的應用。以下潛在用途列表並不全面。此列表的目的是提供模型創建者在模型訓練和開發過程中考慮的可能用例的上下文信息。

• 內容創作和溝通
  • 文本生成：這些模型可用於生成創意文本格式，如詩歌、腳本、代碼、營銷文案和電子郵件草稿。
  • 聊天機器人和對話式AI：為客戶服務、虛擬助手或交互式應用程序提供對話界面。
  • 文本摘要：生成文本語料庫、研究論文或報告的簡潔摘要。
• 研究和教育
  • 自然語言處理（NLP）研究：這些模型可以作為研究人員試驗NLP技術、開發算法和推動該領域發展的基礎。
  • 語言學習工具：支持交互式語言學習體驗，幫助進行語法糾正或提供寫作練習。
  • 知識探索：通過生成摘要或回答特定主題的問題，幫助研究人員探索大量文本。

限制

• 訓練數據
  • 訓練數據的質量和多樣性顯著影響模型的能力。訓練數據中的偏差或差距可能導致模型響應的侷限性。
  • 訓練數據集的範圍決定了模型能夠有效處理的主題領域。
• 上下文和任務複雜性
  • LLM更擅長可以用清晰提示和說明構建的任務。開放式或高度複雜的任務可能具有挑戰性。
  • 模型的性能可能受到提供的上下文量的影響（在一定程度上，更長的上下文通常會導致更好的輸出）。
• 語言歧義與細微差別
  • 自然語言本質上是複雜的。LLM可能難以理解微妙的細微差別、諷刺或比喻語言。
• 事實準確性
  • LLM根據從訓練數據集中學到的信息生成響應，但它們不是知識庫。它們可能會生成不正確或過時的事實陳述。
• 常識
  • LLM依賴於語言中的統計模式。它們可能在某些情況下缺乏應用常識推理的能力。

倫理考慮和風險

大語言模型（LLM）的開發引發了一些倫理問題。在創建開源模型時，我們仔細考慮了以下方面：

• 偏差和公平性
  • 在大規模真實世界文本數據上訓練的LLM可能反映訓練材料中嵌入的社會文化偏差。這些模型經過了仔細審查，本卡片中描述了輸入數據預處理和後續評估。
• 錯誤信息和濫用
  • LLM可能被濫用來生成虛假、誤導或有害的文本。
  • 提供了模型負責任使用的指南，請參閱[負責任生成式AI工具包][rai-toolkit]。
• 透明度和問責制
  • 本模型卡片總結了模型的架構、能力、限制和評估過程的詳細信息。
  • 負責任開發的開源模型為AI生態系統中的開發人員和研究人員提供了分享創新並使LLM技術更易獲取的機會。

已識別的風險和緩解措施：

• 偏差的延續：鼓勵在模型訓練、微調及其他用例中進行持續監測（使用評估指標、人工審查）並探索去偏技術。
• 有害內容的生成：內容安全機制和指南至關重要。鼓勵開發人員根據其特定產品政策和應用用例謹慎行事並實施適當的內容安全保障措施。
• 惡意用途：技術限制以及對開發人員和最終用戶的教育有助於減輕LLM的惡意應用。提供了教育資源和用戶舉報濫用行為的機制。Gemma模型的禁止用途在[Gemma禁止使用政策][prohibited-use]中列出。
• 隱私侵犯：模型在過濾掉個人身份信息（PII）的數據上進行訓練。鼓勵開發人員遵守隱私法規並採用隱私保護技術。

🔧 技術細節

模型基於谷歌的Gemma 2系列，並在斯洛文尼亞語、英語以及部分克羅地亞語、塞爾維亞語和波斯尼亞語語料庫上進行了持續預訓練。訓練過程使用了NVIDIA NeMo 2.0框架，在BF16混合精度下進行，採用了張量並行、序列並行和激活重計算等技術。

📄 許可證

本模型使用Gemma許可證。

致謝

該模型是在PoVeJMo研究項目（使用大語言模型的自適應自然語言處理）中開發的，特別是在名為SloLLaMai的研究項目中——用於斯洛文尼亞語的開放訪問計算高效模型。該項目由斯洛文尼亞研究與創新局（ARIS）在《復甦與韌性計劃》和NextGenerationEU的資助下進行。作者還感謝斯洛文尼亞研究與創新局的資金支持（研究核心資助編號P6 - 0411——斯洛文尼亞語的語言資源與技術）。

我們感謝所有參與數據收集和準備工作的人員，使我們能夠訓練我們的模型。特別感謝Nikola Ljubešić、Taja Kuzman、Tjaša Arčon、Jaka Čibej、Simon Krek、Tomaž Erjavec、Iztok Kosem和Tomaž Savodnik。