Charllama 35M

🚀 CharLLaMa-35M

これは、LLaMaアーキテクチャを持つ微小な言語モデルで、文字単位のトークン化を行います。これにより、BPEによる単語やその部分のトークン化が不十分な場合の様々な実験が可能です。具体的な用途としては、以下のようなものがあります。

1. 生成型スペルチェッカー
2. テキスト分類：TfidfVectorizer(analyzer='char')の代替、つまり文字n-gramによるベースラインが有効な場合
3. テキストの文字起こし
4. 表記エラーやタイポの検出

モデルのパラメータ数は35,913,600です。

✨ 主な機能

事前学習の特徴

このモデルは、"文学スタジオ"プロジェクトの一環として、ロシアの詩に関する実験を目的として作成されました。そのため、事前学習のコーパスには、詩的な形式のテキストが大量に含まれています。これは、下流のタスクに影響を与える可能性があります。

事前学習コーパスのサイズは約80Bトークンで、テキストはすべてロシア語です。

学習曲線:

トークナイザー

このモデルを使用するには、特別なトークナイザーをインストールする必要があります。

pip install git+https://github.com/Koziev/character-tokenizer

このトークナイザーは、キリル文字や句読点の他に、特殊トークン<s>、</s>、<pad>、<unk>を認識します。

これはtransformersにとって非標準のトークナイザーなので、transformers.AutoTokenizer.from_pretrainedではなく、次のように読み込む必要があります。

import charactertokenizer

...
tokenizer = charactertokenizer.CharacterTokenizer.from_pretrained('inkoziev/charllama-35M')

トークン化を確認するには、次のコードを使用できます。

prompt = '<s>У Лукоморья дуб зеленый\n'
encoded_prompt = tokenizer.encode(prompt, return_tensors='pt')
print('Tokenized prompt:', ' | '.join(tokenizer.decode([t]) for t in encoded_prompt[0]))

出力は、|で区切られたトークンのリストになります。

Tokenized prompt: <s> | У |   | Л | у | к | о | м | о | р | ь | я |   | д | у | б |   | з | е | л | е | н | ы | й | 

📦 インストール

このモデルを使用するには、上記の通り特別なトークナイザーをインストールする必要があります。

pip install git+https://github.com/Koziev/character-tokenizer

💻 使用例

基本的な使用法

import os
import torch
import transformers
import charactertokenizer

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

model_name_or_path = 'inkoziev/charllama-35M'
model = transformers.AutoModelForCausalLM.from_pretrained(model_name_or_path)
model.to(device)
model.eval()

tokenizer = charactertokenizer.CharacterTokenizer.from_pretrained(model_path)

prompt = 'Меня зовут Ар'
encoded_prompt = tokenizer.encode(prompt, return_tensors='pt')

output_sequences = model.generate(
    input_ids=encoded_prompt.to(device),
    max_length=500,
    temperature=1.0,
    top_k=0,
    top_p=0.8,
    repetition_penalty=1.0,
    do_sample=True,
    num_return_sequences=5,
    pad_token_id=0,
)

for o in output_sequences:
    text = tokenizer.decode(o)
    if text.startswith('<s>'):
        text = text.replace('<s>', '')
    text = text[:text.index('</s>')].strip()
    print(text)
    print('-'*80)

他にも、GPTモデル用の他のツール、例えばtransformers.AutoModelForSequenceClassificationも使用できます。

📄 ライセンス

ライセンスはOpenRailです。