Gams 27B Instruct

🚀 GaMS-27B-Instruct模型卡片

GaMS-2B、GaMS-9B和GaMS-27B是GaMS（斯洛文尼亞語生成模型）系列的新型改進和更大規模的模型。這些模型基於谷歌的Gemma 2系列，並在斯洛文尼亞語、英語以及部分克羅地亞語、塞爾維亞語和波斯尼亞語語料庫上進行了持續預訓練。

這是GaMS-27B模型的監督微調（SFT）版本。

✨ 主要特性

• 多語言支持：支持斯洛文尼亞語、英語、克羅地亞語、波斯尼亞語和塞爾維亞語等多種語言。
• 持續預訓練：在多種語料庫上進行持續預訓練，提升模型性能。
• 監督微調版本：SFT版本進一步優化了模型在特定任務上的表現。

📦 安裝指南

文檔未提供具體安裝命令，跳過此章節。

💻 使用示例

基礎用法

from transformers import pipeline

model_id = "cjvt/GaMS-27B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="cuda" # replace with "mps" to run on a Mac device
)

# Example of response generation
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pline(message, max_new_tokens=512)
print("Model's response:", response[0]["generated_text"][-1]["content"])

# Example of conversation chain
new_message = response[0]["generated_text"]
new_message.append({"role": "user", "content": "Lahko bolj podrobno opišeš ta dogodek?"})
response = pline(new_message, max_new_tokens=1024)
print("Model's response:", response[0]["generated_text"][-1]["content"])

高級用法

from transformers import pipeline

model_id = "cjvt/GaMS-27B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="auto"
)

# Example of response generation
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pline(message, max_new_tokens=512)
print("Model's response:", response[0]["generated_text"][-1]["content"])

# Example of conversation chain
new_message = response[0]["generated_text"]
new_message.append({"role": "user", "content": "Lahko bolj podrobno opišeš ta dogodek?"})
response = pline(new_message, max_new_tokens=1024)
print("Model's response:", response[0]["generated_text"][-1]["content"])

📚 詳細文檔

基本信息

數據

持續預訓練（CPT）數據

模型的持續預訓練分為兩個階段。第一階段使用平行的英 - 斯（某些情況下包括克羅地亞語）語料庫來對齊語言。第二階段，模型在單獨的英語、斯洛文尼亞語、克羅地亞語、波斯尼亞語和塞爾維亞語語料庫上進行訓練。

平行對齊語料庫

各對齊級別的解釋：

• 文檔級別：平行文檔連接成一個文檔。
• 單獨文檔：平行文檔未明確對齊。
• 段落級別：平行文檔的段落連接（斯洛文尼亞語/英語文檔的第一段之後是另一種語言的第一段，然後是第一種語言的第二段，依此類推）。

第二階段語料庫

備註：

• 以下語料庫從MetaFida中排除：dgt15_sl、classlawiki_sl、tweet_sl、janes_tweet、janes_forum、janes_news。
• 塞爾維亞語維基百科從西里爾文轉換為拉丁文。

監督微調（SFT）數據

我們的SFT訓練數據約由25000個訓練示例和1500個驗證示例組成。該數據集是以下數據集的混合：

• GaMS-Instruct-GEN 1.0
• GaMS-Instruct-DH 1.0：從該數據集中隨機選擇3000個示例。
• GaMS-Instruct-MED 1.0：從該數據集中隨機選擇3000個示例。
• Parallel corpus EN-SL RSDO4 2.0：對該語料庫進行了額外過濾。首先使用NeMo Curator運行FastText語言識別，僅保留源語言檢測為英語、目標語言檢測為斯洛文尼亞語的示例。然後運行COMET模型評估翻譯，僅保留COMET分數高於0.945的示例（約8000個示例）。
• Aya Dataset：僅從該數據集中選取英語和塞爾維亞語示例。塞爾維亞語示例從西里爾文轉換為拉丁文。
• Math competitions：我們獲取了2001年至2010年斯洛文尼亞全國數學競賽的PDF文件。使用olmOCR從PDF中提取文本，並手動糾正提取的文本。這為我們提供了約150個已解決的數學問題。

訓練

模型在Leonardo HPC的Booster分區上進行訓練。

持續預訓練（CPT）

我們使用NVIDIA NeMo 2.0框架對模型進行持續預訓練。模型在BF16混合精度下使用張量並行（跨8個GPU）、序列並行和激活重計算進行訓練。模型在32個節點上進行訓練，每個節點包含4個A100 64GB GPU。平行對齊訓練約需8小時，第二階段約需110小時。

模型使用帶有線性預熱的餘弦學習率調度器進行訓練，並使用以下超參數。

平行對齊：

• 預熱步數：150
• 最小學習率：5e-6
• 最大學習率：2e-5
• 恆定步數：0
• 批量大小：512（400萬個標記）

第二階段：

• 預熱步數：500
• 最小學習率：5e-6
• 最大學習率：5e-5
• 恆定步數：100
• 批量大小：512（400萬個標記）

監督微調（SFT）

與2B和9B模型不同，27B模型使用NeMo框架進行監督微調，這使得擴展更加容易。模型在BF16精度下使用張量並行（跨4個GPU）、序列並行和激活重計算進行訓練。模型在8個節點上進行訓練，每個節點有4個A100 64GB GPU。

模型使用帶有線性預熱的餘弦學習率調度器進行調整，並使用以下超參數：

• 訓練輪數：訓練進行了5輪，但根據驗證損失，最佳性能模型在第二輪後獲得，因此我們保留了該模型。
• 批量大小：128
• 預熱步數：150
• 最小學習率：1e-8
• 最大學習率：5e-6
• 恆定步數：0

評估

模型使用斯洛文尼亞SuperGLUE分類任務集在SloBench上進行評估。模型的指令版本還在英語到斯洛文尼亞語翻譯和斯洛文尼亞語到英語翻譯任務上進行了評估。此外，我們還在Slovenian-LLM-Eval上評估了我們的模型。

評估代碼：

• SloBench任務
• Slovenian-LLM-Eval

Slovenian-LLM-Eval結果

下圖展示了GaMS模型、基礎Gemma 2模型和SlovenianGPT（基於Mistral 7B的斯洛文尼亞語開源模型）的比較。所有模型均在零樣本場景下進行評估。

Slobench結果

GaMS 2B、9B、27B和27B-Instruct模型在3 - 樣本場景下進行評估，但MultiRC和翻譯任務使用零樣本。GaMS-2B-Instruct和GaMS-9B-Instruct在所有任務上均在零樣本場景下進行評估。我們使用引導解碼確保響應格式正確。

斯洛文尼亞SuperGLUE

英語到斯洛文尼亞語翻譯（基準測試前11名模型）

斯洛文尼亞語到英語翻譯（基準測試前10名模型）

使用和限制（摘自Gemma 2）

這些模型存在一些用戶應瞭解的限制。

預期用途

開放大語言模型（LLM）在各個行業和領域有廣泛應用。以下潛在用途列表並不全面，目的是提供模型創建者在模型訓練和開發過程中考慮的可能用例的上下文信息。

• 內容創作與交流
  • 文本生成：這些模型可用於生成創意文本格式，如詩歌、腳本、代碼、營銷文案和電子郵件草稿。
  • 聊天機器人和對話式AI：為客戶服務、虛擬助手或交互式應用程序提供對話界面。
  • 文本摘要：生成文本語料庫、研究論文或報告的簡潔摘要。
• 研究與教育
  • 自然語言處理（NLP）研究：這些模型可作為研究人員試驗NLP技術、開發算法和推動該領域發展的基礎。
  • 語言學習工具：支持交互式語言學習體驗，輔助語法糾正或提供寫作練習。
  • 知識探索：通過生成摘要或回答特定主題的問題，幫助研究人員探索大量文本。

限制

• 訓練數據
  • 訓練數據的質量和多樣性顯著影響模型的能力。訓練數據中的偏差或差距可能導致模型響應的侷限性。
  • 訓練數據集的範圍決定了模型能夠有效處理的主題領域。
• 上下文和任務複雜性
  • 大語言模型更擅長能用清晰提示和說明構建的任務。開放式或高度複雜的任務可能具有挑戰性。
  • 模型的性能可能受提供的上下文量影響（在一定範圍內，更長的上下文通常會產生更好的輸出）。
• 語言歧義與細微差別
  • 自然語言本質上很複雜。大語言模型可能難以理解微妙的細微差別、諷刺或比喻語言。
• 事實準確性
  • 大語言模型根據從訓練數據中學到的信息生成響應，但它們不是知識庫。它們可能生成不正確或過時的事實陳述。
• 常識推理
  • 大語言模型依賴語言中的統計模式。它們可能在某些情況下缺乏應用常識推理的能力。

倫理考量與風險

大語言模型（LLM）的開發引發了一些倫理問題。在創建開放模型時，我們進行了謹慎考慮。

🔧 技術細節

持續預訓練（CPT）

使用NVIDIA NeMo 2.0框架在BF16混合精度下進行訓練，採用張量並行（跨8個GPU）、序列並行和激活重計算。在32個節點（每個節點4個A100 64GB GPU）上訓練，平行對齊訓練約8小時，第二階段約110小時。使用餘弦學習率調度器和線性預熱，不同階段超參數不同。

監督微調（SFT）

使用NeMo框架在BF16精度下進行訓練，採用張量並行（跨4個GPU）、序列並行和激活重計算。在8個節點（每個節點4個A100 64GB GPU）上訓練。使用餘弦學習率調度器和線性預熱，訓練5輪，選擇第二輪的模型。

📄 許可證

本模型使用Gemma許可證。

致謝

該模型是在PoVeJMo研究項目（使用大語言模型的自適應自然語言處理）的框架內開發的，特別是在名為SloLLaMai的研究項目中——用於斯洛文尼亞語的開放訪問計算高效模型。該項目由斯洛文尼亞研究與創新局（ARIS）在《恢復與韌性計劃》和NextGenerationEU的資助下進行。作者們也感謝斯洛文尼亞研究與創新局的資金支持（研究核心資助編號P6 - 0411——斯洛文尼亞語的語言資源與技術）。

我們感謝所有參與數據收集和準備工作的人員，使我們能夠訓練該模型。特別感謝Nikola Ljubešić、Taja Kuzman、Tjaša Arčon、Jaka Čibej、Simon Krek、Tomaž Erjavec、Iztok Kosem和Tomaž Savodnik。