Multilingual ModernBert Base Preview

🚀 makiart/multilingual-ModernBert-base-preview

這是由 Algomatic 團隊藉助 ABCI 生成式 AI 黑客松 提供的計算資源開發的多語言模型，可用於掩碼填充任務。

🚀 快速開始

安裝依賴

首先，你需要安裝所需的 Python 包：

pip install -U transformers>=4.48.0

如果你的 GPU 支持 FlashAttention，安裝以下包可以實現更高效的推理：

pip install flash-attn --no-build-isolation

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForMaskedLM, AutoTokenizer, pipeline

model = AutoModelForMaskedLM.from_pretrained("makiart/multilingual-ModernBert-base", torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained("makiart/multilingual-ModernBert-base")
fill_mask = pipeline("fill-mask", model=model, tokenizer=tokenizer)

# 韓語示例
results = fill_mask("우리의 대부분의 고뇌는 가능했을 또 다른 인생을 [MASK] 데서 시작된다.")
for result in results:
    print(result)

# 英語示例
results = fill_mask("Pinning our hopes on the unreliable notion of our potential is the root of all our [MASK].")
for result in results:
    print(result)

# 中文示例
results = fill_mask("我們必須[MASK]，我們只能成為此時此地的那個自己，而無法成為其他任何人。")
for result in results:
    print(result)

# 日語示例
results = fill_mask("大きな[MASK]を一人で切り分けて食べるというのは孤獨の極地ですからね")
for result in results:
    print(result)

📚 詳細文檔

模型描述

• 訓練方法：該模型採用兩階段掩碼語言建模（MLM）過程進行訓練。
  • 掩碼率：30%
  • 訓練數據：使用約 200B 上下文長度為 1024 的令牌和 50B 上下文長度為 8192 的令牌進行訓練。
• 分詞器：基於 Qwen2.5 構建，具有以下特點：
  • 詞彙量為 151,680 個令牌。
  • 經過定製，能夠區分代碼中的縮進，從而更好地處理編程文本。
• 數據集：
  • 使用了 fineweb 和 fineweb2 數據集。
  • 對於數據豐富的語言，減少了數據量。
• 計算資源：使用 ABCI 提供的一個節點（H200 x 8）進行訓練，大約耗時 3 天。

評估

目前尚未進行全面評估 😭。根據總訓練令牌數，預計該模型與現有模型相比競爭力可能較弱。

📄 許可證

本模型採用 MIT 許可證。