Roberta Uz

🚀 乌兹别克语命名实体识别模型

本模型是基于乌兹别克语命名实体识别（NER）数据集对 [FacebookAI/xlm - roberta - large](https://huggingface.co/FacebookAI/xlm - roberta - large) 进行微调后的版本。它在评估集上取得了以下成绩：

• 损失值：0.1754
• 精确率：0.5848
• 召回率：0.6313
• F1值：0.6071
• 准确率：0.9386

🚀 快速开始

本模型是 [FacebookAI/xlm - roberta - large](https://huggingface.co/FacebookAI/xlm - roberta - large) 在乌兹别克语NER数据集上的微调版本。它在评估集上取得了如下结果：

• 损失：0.1754
• 精确率：0.5848
• 召回率：0.6313
• F1值：0.6071
• 准确率：0.9386

📦 安装指南

文档未提供安装步骤，可参考 transformers 库的官方安装指南进行安装。

💻 使用示例

基础用法

# 导入必要的库
from transformers import AutoTokenizer, AutoModelForTokenClassification
import torch

# 自定义标签映射
custom_id2label = {
    0: "O", 1: "B-CARDINAL", 2: "I-CARDINAL", 3: "B-DATE", 4: "I-DATE",
    5: "B-EVENT", 6: "I-EVENT", 7: "B-GPE", 8: "I-GPE", 9: "B-LOC", 10: "I-LOC",
    11: "B-MONEY", 12: "I-MONEY", 13: "B-ORDINAL", 14: "B-ORG", 15: "I-ORG",
    16: "B-PERCENT", 17: "I-PERCENT", 18: "B-PERSON", 19: "I-PERSON",
    20: "B-TIME", 21: "I-TIME"
}
custom_label2id = {v: k for k, v in custom_id2label.items()}

# 模型名称
model_name = "mustafoyev202/roberta-uz"
# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_name)
# 加载模型
model = AutoModelForTokenClassification.from_pretrained(model_name, num_labels=23)

# 设置模型的标签映射
model.config.id2label = custom_id2label
model.config.label2id = custom_label2id

# 待处理的文本
text = "Tesla kompaniyasi AQSHda joylashgan."

# 对文本进行分词
tokens = tokenizer(text.split(), return_tensors="pt", is_split_into_words=True)

# 进行推理
with torch.no_grad():
    logits = model(**tokens).logits

# 获取预测的标签ID
predicted_token_class_ids = logits.argmax(-1).squeeze().tolist()

# 获取单词ID
word_ids = tokens.word_ids()
previous_word_id = None
word_predictions = {}

# 处理预测结果
for i, word_id in enumerate(word_ids):
    if word_id is not None:
        label = custom_id2label[predicted_token_class_ids[i]]
        if word_id != previous_word_id:  # 新单词
            word_predictions[word_id] = label
        previous_word_id = word_id

# 分割文本为单词
words = text.split()  # 简单分割
# 最终预测结果
final_predictions = [(word, word_predictions.get(i, "O")) for i, word in enumerate(words)]

# 打印预测结果
print("Predictions:")
for word, label in final_predictions:
    print(f"{word}: {label}")

# 计算损失
labels = torch.tensor([predicted_token_class_ids]).unsqueeze(0)  # 调整维度
loss = model(**tokens, labels=labels).loss
print("\nLoss:", round(loss.item(), 2))

🔧 技术细节

训练超参数

训练过程中使用了以下超参数：

• 学习率：1e - 05
• 训练批次大小：8
• 评估批次大小：8
• 随机种子：42
• 梯度累积步数：8
• 总训练批次大小：64
• 优化器：使用 OptimizerNames.ADAMW_TORCH，betas=(0.9, 0.999)，epsilon=1e - 08，无额外优化器参数
• 学习率调度器类型：cosine_with_restarts
• 学习率调度器热身比例：0.08
• 训练轮数：3
• 混合精度训练：Native AMP

训练结果

框架版本

• Transformers 4.49.0
• Pytorch 2.5.1+cu124
• Datasets 3.3.2
• Tokenizers 0.21.0

📄 许可证

本模型采用 MIT 许可证。

📊 模型信息