Mamba 370m Hf

🚀 Mamba

このリポジトリには、transformers と互換性のある mamba-2.8b モデルが含まれています。モデルのチェックポイントは変更されていませんが、完全な config.json ファイルとトークナイザーがこのリポジトリにアップロードされています。

🚀 クイックスタート

依存関係のインストール

transformers=4.39.0 バージョンがリリースされる前は、main ブランチから transformers をインストールする必要があります。

pip install git+https://github.com/huggingface/transformers@main

また、以下のコマンドを使用して causal_conv_1d と mamba-ssm をインストールすることをおすすめします。

pip install causal-conv1d>=1.2.0
pip install mamba-ssm

これら2つのライブラリのいずれかがインストールされていない場合、「eager」実装が使用されます。それ以外の場合は、より最適化された cuda カーネルが使用されます。

テキスト生成

古典的な generate API を使用してテキスト生成を行うことができます。

>>> from transformers import MambaConfig, MambaForCausalLM, AutoTokenizer
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("state-spaces/mamba-370m-hf")
>>> model = MambaForCausalLM.from_pretrained("state-spaces/mamba-370m-hf")
>>> input_ids = tokenizer("Hey how are you doing?", return_tensors="pt")["input_ids"]

>>> out = model.generate(input_ids, max_new_tokens=10)
>>> print(tokenizer.batch_decode(out))
["Hey how are you doing?\n\nI'm doing great.\n\nI"]

PEFT 微調整の例

peft ライブラリを使用して微調整を行う場合は、モデルを float32 形式のままにすることをおすすめします！

from datasets import load_dataset
from trl import SFTTrainer
from peft import LoraConfig
from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments
tokenizer = AutoTokenizer.from_pretrained("state-spaces/mamba-370m-hf")
model = AutoModelForCausalLM.from_pretrained("state-spaces/mamba-370m-hf")
dataset = load_dataset("Abirate/english_quotes", split="train")
training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    logging_dir='./logs',
    logging_steps=10,
    learning_rate=2e-3
)
lora_config =  LoraConfig(
        r=8,
        target_modules=["x_proj", "embeddings", "in_proj", "out_proj"],
        task_type="CAUSAL_LM",
        bias="none"
)
trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    args=training_args,
    peft_config=lora_config,
    train_dataset=dataset,
    dataset_text_field="quote",
)
trainer.train()