Latxa Llama 3.1 70B Instruct

🚀 HiTZ/Latxa-Llama-3.1-70B-Instruct模型

HiTZ/Latxa-Llama-3.1-70B-Instruct是基於Meta的LLaMA模型開發的大語言模型，旨在克服現有大語言模型在巴斯克語等低資源語言上的性能侷限，推動基於大語言模型的巴斯克語技術和研究發展。該模型在巴斯克語標準基準測試和聊天對話中表現出色，在公開評估中排名靠前。

🚀 快速開始

使用以下代碼開始使用該模型：

from transformers import pipeline

pipe = pipeline('text-generation', model='HiTZ/Latxa-Llama-3.1-70B-Instruct')

messages = [
    {'role': 'user', 'content': 'Kaixo!'},
]

pipe(messages)

>>
[
  {
    'generated_text': [
      {'role': 'user', 'content': 'Kaixo!'},
      {'role': 'assistant', 'content': 'Kaixo! Zer moduz? Zer behar edo galdetu nahi duzu?'}
    ]
  }
]

✨ 主要特性

• 性能卓越：在巴斯克語標準基準測試和聊天對話中，大幅超越Llama-3.1-Instruct。
• 公開評估排名靠前：在公開競技場評估中，Latxa排名第3，僅次於Claude和GPT - 4，領先於所有同規模競爭對手。
• 推動低資源語言發展：針對巴斯克語等低資源語言進行優化，縮小高資源語言和低資源語言在數字發展上的差距。

📚 詳細文檔

模型詳情

• 模型描述：Latxa是基於Meta的LLaMA模型的大語言模型家族。當前的大語言模型在英語等高資源語言上表現出色，但在巴斯克語等低資源語言上的性能接近隨機猜測。Latxa旨在克服這些侷限，推動基於大語言模型的巴斯克語技術和研究發展。Latxa模型採用與原始模型相同的架構，並在Latxa語料庫v1.1上進行了進一步訓練。
• 開發團隊：HiTZ研究中心和IXA研究小組（巴斯克大學UPV/EHU）
• 模型類型：語言模型
• 語言：eu
• 許可證：llama3.1
• 基礎模型：meta - llama/Llama-3.1-70B-Instruct
• 聯繫方式：hitz@ehu.eus

使用說明

• 使用範圍：Latxa模型旨在用於巴斯克語數據，對於其他語言，性能無法保證。該模型繼承了Llama-3.1許可證，允許商業和研究使用。
• 直接使用：Latxa Instruct模型經過訓練，可以遵循指令或作為聊天助手。
• 禁止使用場景：該模型不應用於惡意活動，如傷害他人或侵犯人權。任何下游應用都必須遵守現行法律法規。不建議在生產環境中未經適當風險評估和緩解措施就進行不負責任的使用。

偏差、風險和侷限性

為了減少潛在的不良或有害內容，Latxa在精心選擇和處理的數據上進行了訓練，這些數據主要來自當地媒體、國家/地區報紙、百科全書和博客（見Latxa語料庫v1.1）。然而，該模型基於Llama 3.1模型，可能存在相同的偏差、風險和侷限性。有關更多信息，請參閱Llama的道德考量和侷限性。

訓練詳情

⚠️ 重要提示

更多訓練細節將在近期隨相應的研究論文一起發佈。

評估

• 測試數據
  • Belebele (Bandarkar等人)：Belebele是一個涵蓋122種語言變體的多項選擇機器閱讀理解（MRC）數據集。我們以5次樣本學習的方式評估了該模型。數據卡片
  • X - StoryCloze (Lin等人)：XStoryCloze是將英語StoryCloze數據集專業翻譯為10種非英語語言的版本。Story Cloze是一個常識推理數據集，包括為一個四句故事選擇正確的結尾。我們以5次樣本學習的方式評估了該模型。數據卡片
  • EusProficiency (Etxaniz等人, 2024)：EusProficiency包含來自過去EGA考試的5169道不同主題的練習題，EGA考試是巴斯克語官方C1級水平證書考試。數據卡片
  • EusReading (Etxaniz等人, 2024)：EusReading由來自同一組過去EGA考試的352道閱讀理解練習題組成。數據卡片
  • EusTrivia (Etxaniz等人, 2024)：EusTrivia由來自多個在線來源的1715道瑣事問題組成。其中56.3%的問題為小學水平（3 - 6年級），其餘問題具有挑戰性。數據卡片
  • EusExams (Etxaniz等人, 2024)：EusExams是為準備巴斯克地區多個機構舉辦的公共服務考試而設計的測試集合，包括公共衛生系統Osakidetza、巴斯克政府、畢爾巴鄂和加斯泰斯市議會以及巴斯克大學（UPV/EHU）。數據卡片
• 指標：由於測試以多項選擇題的形式呈現，我們使用準確率作為評估指標。
• 結果 | 任務 | Llama - 3.1 8B Instruct | Latxa 3.1 8B Instruct | Llama - 3.1 70B Instruct | Latxa 3.1 70B Instruct | | ---- | :---: | :---: | :---: | :---: | | Belebele | 73.89 | 80.00 | 89.11 | 91.00 | | X - Story Cloze | 61.22 | 71.34 | 69.69 | 77.83 | | EusProficiency | 34.13 | 52.83 | 43.59 | 68.00 | | EusReading | 49.72 | 62.78 | 72.16 | 78.98 | | EusTrivia | 45.01 | 61.05 | 62.51 | 74.17 | | EusExams | 46.21 | 56.00 | 63.28 | 71.56 |

環境影響

碳排放可以使用機器學習影響計算器進行估算，該計算器由Lacoste等人(2019)提出。

• 硬件類型：HPC集群，4 x A100 64Gb節點x64
• 使用時長（總GPU小時數）：16005.12h
• 雲服務提供商：CINECA HPC
• 計算區域：意大利
• 碳排放：1901.41kg CO2 eq

📄 許可證

該模型使用llama3.1許可證。

致謝

這項工作得到了巴斯克政府（IKER - GAITU項目）的部分支持。

它還得到了數字轉型和公共職能部的部分支持，該部門由歐盟 - 下一代歐盟資助，項目編號為2022/TL22/00215335。

這些模型在CINECA的Leonardo超級計算機上進行訓練，該項目屬於EuroHPC聯合項目，項目編號為EHPC - EXT - 2023E01 - 013。

引用

引用信息即將發佈。

在此期間，您可以參考：

@misc{etxaniz2024latxa,
    title={{L}atxa: An Open Language Model and Evaluation Suite for {B}asque},
    author={Julen Etxaniz and Oscar Sainz and Naiara Perez and Itziar Aldabe and German Rigau and Eneko Agirre and Aitor Ormazabal and Mikel Artetxe and Aitor Soroa},
    year={2024},
    eprint={2403.20266},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}