Qwen25 05b Multiclinsum Distil

🚀 文本生成模型

本模型专注于文本生成领域，特别是临床报告摘要生成。它基于 Qwen/Qwen2.5-0.5B-Instruct 模型进行微调，在多语言临床报告摘要任务中表现出色，为生物医学领域的信息处理提供了高效解决方案。

🚀 快速开始

本模型是 Qwen/Qwen2.5-0.5B-Instruct 在 MultiClinSum 训练数据及其 rationale 上的蒸馏微调版本。该模型的结果用于提交 BioASQ-2025 研讨会 / CLEF 2025 的相关成果。

我们首先采用 Qwen/Qwen2.5-72B-Instruct 为训练数据推断 rationale（更多细节请继续阅读）。

基线版本：https://huggingface.co/nicolay-r/qwen25-05b-multiclinsum-standard

✨ 主要特性

• 模型类型：基于解码器的模型
• 支持语言（NLP）：Qwen2.5 原生支持语言，并在 en、fr、pt、es 语言的摘要上进行了微调
• 许可证：MIT
• 微调基础模型：https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct

📦 安装指南

暂未提供相关安装步骤。

💻 使用示例

基础用法

from bulk_chain.api import iter_content
from bulk_chain.core.utils import dynamic_init

content_it = iter_content(
  schema={"schema": [
      {"prompt": "Summarize: {input}", "out": "summary"}]
  },
  llm=dynamic_init(
    class_filepath="huggingface_qwen.py",
    class_name="Qwen2")(
      api_token="YOUR_HF_API_KEY_GOES_HERE",
      model_name="nicolay-r/qwen25-05b-multiclinsum-distil",
      temp=0.1,
      use_bf16=True,
      max_new_tokens=args.max_tokens,
      device=args.device
  ),
  infer_mode="batch",
  batch_size=4,
  return_mode="record",
  # INPUT TEXTS:
  input_dicts_it=[
     {"input": "A patient 62 years old with ..."}
  ],
)

for record in content_it:
  # here is the result dictionary that includes summary.
  print(record["summary"])

高级用法

暂未提供相关高级用法示例。

📚 详细文档

模型来源

• 代码仓库：https://github.com/nicolay-r/distil-tuning-llm
• 论文：待公布
• 演示：https://colab.research.google.com/drive/1TXGaz39o73nBucEQw12gbad7Tw11j2Ol?usp=sharing

🔧 技术细节

训练数据

• MultiClinSum
  • 我们使用 以下脚本 下载数据集。
  • 官网：https://temu.bsc.es/multiclinsum
  • 数据：https://zenodo.org/records/15463353
  • BioASQ：http://bioasq.org/

训练过程

训练过程包括：

1. 为摘要蒸馏准备 rationale。
2. 启动 微调 过程。

准备工作：我们采用 Qwen/Qwen2.5-72B-Instruct 通过以下脚本来推断 rationale：

• https://github.com/nicolay-r/distil-tuning-llm/blob/master/predict/annotate_train_rationale.py
• 上述脚本依赖 open-router 作为远程 API 提供者：https://openrouter.ai/qwen/qwen-2.5-72b-instruct

微调：请遵循此脚本，在 GoogleColab A100（40GB VRAM）+ 80GB RAM 上使用 MultiClinSum 数据集 进行微调：

• https://github.com/nicolay-r/distil-tuning-llm/blob/master/distil_ft_qwen25_05b_A100-40GB_80GB_dis.sh

预处理

参考以下脚本进行 微调 预处理：

• https://github.com/nicolay-r/distil-tuning-llm/blob/master/resources/make_dataset_mult.py

训练超参数

我们参考原始参数：

• https://github.com/QwenLM/Qwen2.5-VL/tree/main/qwen-vl-finetune 并使用以下脚本：
• https://github.com/nicolay-r/distil-tuning-llm/blob/master/distil_ft_qwen25_05b_A100-40GB_80GB_dis.sh

速度、大小、时间

在 GoogleColab A100 上进行 3 个 epoch 的微调过程大约需要 ~1 小时。

评估

测试数据

我们使用所有可用训练数据中 20 篇文档的评估分割，涵盖所有语言：en、fr、pt、es。

评估指标

在本次评估中，我们仅使用 rouge 分数。

评估结果

我们为 distil 和 standard 版本分别启动了 3 个独立的微调过程，以展示多次运行之间的结果差异。

图：该模型的评估结果对应 distil 版本。

总结

硬件环境

我们使用 GoogleColab Notebook 服务及其相关资源进行模型推理和启动实验：

• 微调：A100（40GB）
• 推理：T4（16GB）

请参考仓库中的 Google Codalab Notebook：

• https://github.com/nicolay-r/distil-tuning-llm

软件环境

这是该模型卡片的官方代码仓库：

• https://github.com/nicolay-r/distil-tuning-llm

📄 许可证

本模型使用 MIT 许可证。

引用

BibTeX：待添加

模型卡片作者

Nicolay Rusnachenko