Tavbert Tr

🚀 TavBERT基礎模型

TavBERT是一個土耳其語的BERT風格掩碼語言模型，它以字符為單位進行操作。該模型通過掩碼字符片段進行預訓練，與SpanBERT（Joshi等人，2020）的方式類似。

🚀 快速開始

TavBERT基礎模型是一個以字符為操作單位的土耳其語BERT風格掩碼語言模型。它通過掩碼字符片段進行預訓練，與SpanBERT的預訓練方式類似。

💻 使用示例

基礎用法

import numpy as np
import torch
from transformers import AutoModelForMaskedLM, AutoTokenizer

model = AutoModelForMaskedLM.from_pretrained("tau/tavbert-tr")
tokenizer = AutoTokenizer.from_pretrained("tau/tavbert-tr")

def mask_sentence(sent, span_len=5):
    start_pos = np.random.randint(0, len(sent) - span_len)
    masked_sent = sent[:start_pos] + '[MASK]' * span_len + sent[start_pos + span_len:]
    print("Masked sentence:", masked_sent)
    output = model(**tokenizer.encode_plus(masked_sent, 
                                           return_tensors='pt'))['logits'][0][1:-1]
    preds = [int(x) for x in torch.argmax(torch.softmax(output, axis=1), axis=1)[start_pos:start_pos + span_len]]
    pred_sent = sent[:start_pos] + ''.join(tokenizer.convert_ids_to_tokens(preds)) + sent[start_pos + span_len:]
    print("Model's prediction:", pred_sent)

📚 詳細文檔

訓練數據

模型使用了OSCAR（Ortiz，2019）的土耳其語部分作為訓練數據，該部分包含27GB文本和7700萬個句子。