Latxa Llama 3.1 70B Instruct FP8

🚀 HiTZ/Latxa-Llama-3.1-70B-Instruct-FP8

Latxa 3.1 70B Instruct 是基于 Llama-3.1 (Instruct) 的大语言模型，在巴斯克语语料上进行训练，能有效提升巴斯克语相关任务的表现，在巴斯克语标准基准测试中表现出色。

⚠️ 重要提示

这是原始 Latxa 3.1 70B Instruct 的 FP8 量化版本。

⚠️ 重要提示

该模型仍在开发中。更多训练细节将在不久后随相应的研究论文一同发布。

🚀 快速开始

使用以下代码开始使用该模型：

from transformers import pipeline

pipe = pipeline('text-generation', model='HiTZ/Latxa-Llama-3.1-70B-Instruct-FP8')

messages = [
    {'role': 'user', 'content': 'Kaixo!'},
]

pipe(messages)

>>
[
  {
    'generated_text': [
      {'role': 'user', 'content': 'Kaixo!'},
      {'role': 'assistant', 'content': 'Kaixo! Zer moduz? Zer behar edo galdetu nahi duzu?'}
    ]
  }
]

✨ 主要特性

• 语言适配：基于 Meta 的 LLaMA 模型，针对巴斯克语进行语言适配训练，能有效提升巴斯克语任务的性能。
• 指令遵循：经过训练，能够遵循指令，可作为聊天助手使用。
• 性能优越：在巴斯克语标准基准测试中，大幅超越 Llama-3.1-Instruct，在聊天对话中表现出色。

📦 安装指南

文档未提及安装步骤，可参考 transformers 库的官方安装文档进行安装。

💻 使用示例

基础用法

from transformers import pipeline

pipe = pipeline('text-generation', model='HiTZ/Latxa-Llama-3.1-70B-Instruct-FP8')

messages = [
    {'role': 'user', 'content': 'Kaixo!'},
]

pipe(messages)

高级用法

文档未提供高级用法示例，可根据具体需求进一步探索模型的功能。

📚 详细文档

模型详情

模型描述

Latxa 是基于 Meta 的 LLaMA 模型的大语言模型家族。当前的大语言模型在英语等高资源语言上表现出色，但在巴斯克语等低资源语言上的表现接近随机猜测。这些限制在数字发展方面扩大了高资源语言和低资源语言之间的差距。我们推出 Latxa 以克服这些限制，并促进基于大语言模型的巴斯克语技术和研究的发展。Latxa 模型遵循与其原始对应模型相同的架构，并在 Latxa 语料库 v1.1 上进行了进一步训练，这是一个高质量的巴斯克语语料库。

使用场景

直接使用

Latxa Instruct 模型经过训练，可遵循指令或作为聊天助手使用。

非预期使用

该模型不应用于恶意活动，如伤害他人或侵犯人权。任何下游应用都必须遵守现行法律法规。同时，不建议在未进行适当风险评估和缓解的情况下在生产环境中进行不负责任的使用。

偏差、风险和限制

为了减少潜在的令人不安或有害的内容，Latxa 在精心选择和处理的数据上进行了训练，这些数据主要来自当地媒体、国家/地区报纸、百科全书和博客（见 Latxa 语料库 v1.1）。尽管如此，该模型基于 Llama 3.1 模型，可能存在相同的偏差、风险和限制。有关更多信息，请参阅 Llama 的道德考量和限制。

训练详情

更多训练细节将在不久后随相应的研究论文一同发布。

评估

测试数据、因素和指标

测试数据

• Belebele（Bandarkar 等人）：Belebele 是一个涵盖 122 种语言变体的多项选择机器阅读理解（MRC）数据集。我们以 5 次提示的方式对模型进行了评估。
  • 数据卡片：https://huggingface.co/datasets/facebook/belebele
• X-StoryCloze（Lin 等人）：XStoryCloze 是将英语 StoryCloze 数据集专业翻译为 10 种非英语语言的版本。Story Cloze 是一个常识推理数据集，包括为一个四句故事选择正确的结尾。我们以 5 次提示的方式对模型进行了评估。
  • 数据卡片：https://huggingface.co/datasets/juletxara/xstory_cloze
• EusProficiency（Etxaniz 等人，2024）：EusProficiency 包含来自过去 EGA 考试的 5169 道不同主题的练习题，EGA 考试是巴斯克语官方 C1 级水平证书考试。
  • 数据卡片：https://huggingface.co/datasets/HiTZ/EusProficiency
• EusReading（Etxaniz 等人，2024）：EusReading 由来自同一组过去 EGA 考试的 352 道阅读理解练习题组成。
  • 数据卡片：https://huggingface.co/datasets/HiTZ/EusReading
• EusTrivia（Etxaniz 等人，2024）：EusTrivia 由来自多个在线来源的 1715 道琐事问题组成。其中 56.3% 的问题为小学水平（3 - 6 年级），其余问题被认为具有挑战性。
  • 数据卡片：https://huggingface.co/datasets/HiTZ/EusTrivia
• EusExams（Etxaniz 等人，2024）：EusExams 是一组为准备巴斯克地区多个机构举办的公共服务考试而设计的测试，包括公共卫生系统 Osakidetza、巴斯克政府、毕尔巴鄂和加斯泰兹市议会以及巴斯克大学（UPV/EHU）。
  • 数据卡片：https://huggingface.co/datasets/HiTZ/EusExams

指标

由于这些任务被构建为多项选择题，我们使用准确率作为评估指标。

结果

环境影响

可以使用 机器学习影响计算器 来估算碳排放，该计算器在 Lacoste 等人（2019） 中有所介绍。

• 硬件类型：HPC 集群，4 x A100 64Gb 节点 x64
• 使用时长（总 GPU 小时数）：16005.12 小时
• 云服务提供商：CINECA HPC
• 计算区域：意大利
• 碳排放：1901.41 千克 CO2 当量

致谢

• 这项工作得到了巴斯克政府（IKER - GAITU 项目）的部分支持。
• 也得到了数字转型和公共职能部的部分支持，该项目由欧盟 - 下一代欧盟资助，项目编号为 2022/TL22/00215335。
• 模型在 CINECA 的 Leonardo 超级计算机上进行训练，该项目属于 EuroHPC 联合项目，项目编号为 EHPC - EXT - 2023E01 - 013。

引用

正式引用即将发布。在此期间，你可以参考：

@misc{etxaniz2024latxa,
    title={{L}atxa: An Open Language Model and Evaluation Suite for {B}asque},
    author={Julen Etxaniz and Oscar Sainz and Naiara Perez and Itziar Aldabe and German Rigau and Eneko Agirre and Aitor Ormazabal and Mikel Artetxe and Aitor Soroa},
    year={2024},
    eprint={2403.20266},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}