Lacia Sum Small V1

🚀 俄罗斯文本摘要模型 - LaciaSUM V1 (小型)

本模型是专为自动文本摘要任务而微调的 d0rj/rut5-base-summ 版本。它经过特别调整，用于处理俄语文本，并在包含原文及其对应摘要的自定义 CSV 数据集上进行了微调。

🚀 快速开始

本模型可用于快速原型开发和实际应用，对俄语文件、新闻文章和其他文本格式进行自动摘要。同时，该模型也支持英语，但对英语的支持尚未经过测试。

✨ 主要特性

• 目标：自动进行文本的抽象摘要。
• 基础模型：d0rj/rut5-base-summ。
• 数据集：一个自定义的 CSV 文件，包含“Text”（原文）和“Summarize”（摘要）两列。
• 预处理：在分词之前，会在原文前添加前缀 “summarize: ”，这有助于模型专注于摘要任务。
• 训练设置：
  • 训练轮数：9 轮。
  • 批次大小：每个设备 4 个样本。
  • 热身步数：1000 步。
  • 启用 FP16 训练：（如果 CUDA 可用）。
  • 硬件：在 RTX 3070 上进行训练（约 40 分钟）。

📦 安装指南

暂未提供相关安装步骤。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("LaciaStudio/Lacia_sum_small_v1")
model = AutoModelForSeq2SeqLM.from_pretrained("LaciaStudio/Lacia_sum_small_v1")

text = "Современные технологии оказывают значительное влияние на нашу повседневную жизнь и рабочие процессы. Искусственный интеллект становится важным инструментом, помогающим оптимизировать задачи и открывающим новые перспективы в различных областях."

# "summarize: " prefix
input_text = "summarize: " + text
inputs = tokenizer(input_text, return_tensors="pt", max_length=512, truncation=True)

summary_ids = model.generate(inputs["input_ids"], max_length=150, num_beams=4, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)

print("Summary:", summary)

摘要示例

俄语

原文：

Современные технологии оказывают значительное влияние на нашу повседневную жизнь и рабочие процессы.
Искусственный интеллект становится важным инструментом, помогающим оптимизировать задачи и открывающим
новые перспективы в различных областях.

摘要文本：

Современные технологии оказывают значительное влияние на повседневную жизнь и рабочие процессы, включая
искусственный интеллект, который помогает оптимизировать задачи и открывать новые перспективы.

英语

原文：

Modern technologies have a significant impact on our daily lives and work processes. Artificial intelligence
is becoming an important tool that helps optimize tasks and opens up new opportunities in various fields.

摘要文本：

Matern technologies have a controration on our daily lives and work processes. Artificial intelligence
is becoming an important tool and helps and opens up new opportunities.

📚 详细文档

该模型使用 Transformers 库以及 Hugging Face 的 Seq2SeqTrainer 进行微调。训练脚本包括：

• 自定义数据集：SummarizationDataset 类读取 CSV 文件（确保正确的编码和分隔符），去除列名中的多余空格，并对源文本和目标摘要进行分词。
• 标记处理：为了改进损失计算，将目标文本中的填充标记替换为 -100。

📄 许可证

本模型采用 CC BY-NC 4.0 许可证。

由 LaciaStudio | LaciaAI 微调