Titulm Mpt 1b V1.0

🚀 TituLM-1B-BN-V1

TituLM-1B-BN-V1是一個專門為生成和理解孟加拉語文本而訓練的大語言模型。該模型採用瞭解碼器風格的Transformer架構，在包含45.1億個孟加拉語標記的數據集上進行了廣泛訓練。此模型是Hishab迭代訓練和發佈的孟加拉語大語言模型的一部分。

🚀 快速開始

TituLM-1B-BN-V1專為生成和理解孟加拉語文本而設計。下面將為你介紹如何使用該模型。

✨ 主要特性

• 專門針對孟加拉語文本的生成和理解進行訓練。
• 採用解碼器風格的Transformer架構。
• 在包含45.1億個孟加拉語標記的數據集上進行了廣泛訓練。

📦 安裝指南

在運行代碼之前，請安裝以下庫：

pip install transformers
pip install einops
pip install accelerate

💻 使用示例

基礎用法

import transformers
from transformers import pipeline

model_name = 'hishab/titulm-1b-bn-v1'

config = transformers.AutoConfig.from_pretrained(model_name, trust_remote_code=True)
config.max_seq_len = 2048

model = transformers.AutoModelForCausalLM.from_pretrained(
  model_name,
  config=config,
  trust_remote_code=True
)

tokenizer = transformers.AutoTokenizer.from_pretrained('hishab/titulm-1b-bn-v1')

pipe = pipeline('text-generation', model=model, tokenizer=tokenizer, device='cuda:0')
output = pipe('আমি বাংলায় গান',
            max_new_tokens=100,
            do_sample=True,
            use_cache=True)

print(output)

📚 詳細文檔

訓練

訓練過程使用了MosaicML的 llm-foundry 倉庫提供的強大框架進行管理。在整個訓練階段，titulm-1b-bn-v1總共進行了59次迭代，以便進行迭代式的改進和優化。

值得注意的訓練配置：

• n_nead: 16
• n_layers: 24
• max_sequence_length: 2048
• vocab_size: 72000
• attn_impl: flash
• 在GCP的8個H100 GPU上進行訓練

訓練評估狀態

• 評估交叉熵損失 最終損失: 3.11
• 語言困惑度 最終困惑度: 22.562

數據集

我們添加了來自多個來源的孟加拉語文本數據集，包括：

• Culturax
• 書籍
• 孟加拉語維基百科
• Banglapedia
• 新聞文章

我們的總數據大小為58GB的去重數據，使用我們的sentencepiece模型進行標記化後有45.1億個標記。

📄 許可證

本項目採用Apache-2.0許可證。

📚 引用

@misc{hishab_2024_titulm_1b_bn_v1,
  author = {Hishab Technologies Ltd.},
  title = {TituLM-1B-BN-V1},
  year = {2024},
  publisher = {HuggingFace Models},
  howpublished = {https://huggingface.co/hishab/titulm-1b-bn-v1},
}