Roberta Uz

🚀 ウズベク語固有表現抽出モデル

このモデルは、ウズベク語の固有表現抽出データセットで[FacebookAI/xlm - roberta - large](https://huggingface.co/FacebookAI/xlm - roberta - large)をファインチューニングしたバージョンです。評価セットで以下の結果を達成しています。

• 損失: 0.1754
• 適合率: 0.5848
• 再現率: 0.6313
• F1値: 0.6071
• 正解率: 0.9386

🚀 クイックスタート

このウズベク語固有表現抽出モデルは、ウズベク語のテキストに対して固有表現抽出を行うことができます。以下に使用方法を示します。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

# from transformers import AutoTokenizer, AutoModelForTokenClassification
# import torch

# custom_id2label = {
#     0: "O", 1: "B-CARDINAL", 2: "I-CARDINAL", 3: "B-DATE", 4: "I-DATE",
#     5: "B-EVENT", 6: "I-EVENT", 7: "B-GPE", 8: "I-GPE", 9: "B-LOC", 10: "I-LOC",
#     11: "B-MONEY", 12: "I-MONEY", 13: "B-ORDINAL", 14: "B-ORG", 15: "I-ORG",
#     16: "B-PERCENT", 17: "I-PERCENT", 18: "B-PERSON", 19: "I-PERSON",
#     20: "B-TIME", 21: "I-TIME"
# }
# custom_label2id = {v: k for k, v in custom_id2label.items()}

# model_name = "mustafoyev202/roberta-uz"
# tokenizer = AutoTokenizer.from_pretrained(model_name)
# model = AutoModelForTokenClassification.from_pretrained(model_name, num_labels=23)

# model.config.id2label = custom_id2label
# model.config.label2id = custom_label2id

# text = "Tesla kompaniyasi AQSHda joylashgan."

# tokens = tokenizer(text.split(), return_tensors="pt", is_split_into_words=True)

# with torch.no_grad():
#     logits = model(**tokens).logits

# predicted_token_class_ids = logits.argmax(-1).squeeze().tolist()

# word_ids = tokens.word_ids()
# previous_word_id = None
# word_predictions = {}

# for i, word_id in enumerate(word_ids):
#     if word_id is not None:
#         label = custom_id2label[predicted_token_class_ids[i]]
#         if word_id != previous_word_id:  # New word
#             word_predictions[word_id] = label
#         previous_word_id = word_id

# words = text.split()  # Splitting for simplicity
# final_predictions = [(word, word_predictions.get(i, "O")) for i, word in enumerate(words)]

# print("Predictions:")
# for word, label in final_predictions:
#     print(f"{word}: {label}")

# labels = torch.tensor([predicted_token_class_ids]).unsqueeze(0)  # Adjust dimensions
# loss = model(**tokens, labels=labels).loss
# print("\nLoss:", round(loss.item(), 2))

🔧 技術詳細

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率: 1e - 05
• 学習バッチサイズ: 8
• 評価バッチサイズ: 8
• 乱数シード: 42
• 勾配累積ステップ数: 8
• 総学習バッチサイズ: 64
• オプティマイザ: OptimizerNames.ADAMW_TORCHを使用し、ベータ=(0.9, 0.999)、イプシロン=1e - 08、追加のオプティマイザ引数はなし
• 学習率スケジューラの種類: cosine_with_restarts
• 学習率スケジューラのウォームアップ比率: 0.08
• エポック数: 3
• 混合精度学習: Native AMP

学習結果

フレームワークバージョン

• Transformers 4.49.0
• Pytorch 2.5.1+cu124
• Datasets 3.3.2
• Tokenizers 0.21.0

📄 ライセンス

このモデルはMITライセンスの下で提供されています。