Helium 1 2b

🚀 Helium-1-2b

Helium-1-2b 是一款輕量級語言模型，擁有 20 億參數，專為邊緣和移動設備設計。它支持歐盟的 24 種官方語言，可用於自然語言處理系統的研究與開發。

🚀 快速開始

使用以下代碼開始使用該模型：

import torch
from transformers import pipeline

model_id = "kyutai/helium-1-2b"

pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

text = pipe("Hello, today is a great day to")

✨ 主要特性

• 輕量級設計：僅 20 億參數，適合邊緣和移動設備。
• 多語言支持：支持歐盟的 24 種官方語言。
• 廣泛應用：可用於自然語言處理系統的研究與開發。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

import torch
from transformers import pipeline

model_id = "kyutai/helium-1-2b"

pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

text = pipe("Hello, today is a great day to")

📚 詳細文檔

模型描述

Helium-1 是一款輕量級語言模型，擁有 20 億參數，目標是應用於邊緣和移動設備。它支持歐盟的 24 種官方語言。

⚠️ Helium-1 是基礎模型，未經過微調以遵循指令或人類偏好。對於大多數下游用例，該模型應通過有監督微調、基於人類反饋的強化學習（RLHF）或相關方法進行對齊。

使用方式

直接使用

Helium 模型旨在用於自然語言處理系統的研究和開發，包括但不限於語言生成和理解。該模型可用於保加利亞語、捷克語、丹麥語、德語、希臘語、英語、西班牙語、愛沙尼亞語、芬蘭語、法語、愛爾蘭語、克羅地亞語、匈牙利語、意大利語、立陶宛語、拉脫維亞語、馬耳他語、荷蘭語、波蘭語、葡萄牙語、羅馬尼亞語、斯洛伐克語、斯洛文尼亞語、瑞典語。對於大多數下游用例，該模型應通過有監督微調、RLHF 或相關方法進行對齊。

非預期使用

該模型不應在其訓練語言之外的其他語言中使用。該模型不應用於任何惡意或非法活動。該模型未經過微調以遵循指令，因此不應作為指令遵循模型使用。

偏差、風險和侷限性

Helium-1 是基礎語言模型，未與人類偏好對齊。因此，該模型可能會生成不正確、有偏差、有害或通常無用的內容。因此，在沒有進一步對齊、評估和風險緩解的情況下，該模型不應用於下游應用。

訓練詳情

訓練數據

Helium-1 在來自 Common Crawl 的數據上進行訓練，這些數據使用 dactory 庫進行了預處理。

評估

測試數據

該模型在 MMLU、TriviaQA、NaturalQuestions、ARC Easy & Challenge、Open Book QA、Common Sense QA、Physical Interaction QA、Social Interaction QA、HellaSwag、WinoGrande、Multilingual Knowledge QA、FLORES 200 上進行了評估。

評估指標

我們報告了 MMLU、ARC、OBQA、CSQA、PIQA、SIQA、HellaSwag、WinoGrande 的準確率。我們報告了 TriviaQA、NQ 和 MKQA 的精確匹配率。我們報告了 FLORES 的 BLEU 分數。

英文評估結果

多語言評估結果

🔧 技術細節

模型架構和目標

硬件

該模型在 64 個 NVIDIA H100 Tensor Core GPU 上進行訓練。

軟件

該模型使用 Jax 進行訓練。

📄 許可證

CC-BY-SA 4.0

📖 引用

博客文章：Helium 1: a modular and multilingual LLM。