Qwen25 05b Multiclinsum Distil

🚀 テキスト生成モデル

このモデルはテキスト生成分野、特に臨床報告の要約生成に特化しています。Qwen/Qwen2.5-0.5B-Instruct モデルをベースに微調整され、多言語の臨床報告要約タスクで優れた性能を発揮し、生物医学分野の情報処理に効率的な解決策を提供します。

🚀 クイックスタート

このモデルは Qwen/Qwen2.5-0.5B-Instruct を MultiClinSum の訓練データとその rationale を用いて蒸留微調整したバージョンです。このモデルの結果は BioASQ-2025 ワークショップ / CLEF 2025 の関連成果として提出されます。

まず、Qwen/Qwen2.5-72B-Instruct を使用して訓練データの rationale を推論します（詳細については後述します）。

ベースラインバージョン：https://huggingface.co/nicolay-r/qwen25-05b-multiclinsum-standard

✨ 主な機能

• モデルタイプ：デコーダベースのモデル
• サポート言語（NLP）：Qwen2.5 がネイティブでサポートする言語で、en、fr、pt、es の言語の要約に対して微調整されています
• ライセンス：MIT
• 微調整ベースモデル：https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct

💻 使用例

基本的な使用法

from bulk_chain.api import iter_content
from bulk_chain.core.utils import dynamic_init

content_it = iter_content(
  schema={"schema": [
      {"prompt": "Summarize: {input}", "out": "summary"}]
  },
  llm=dynamic_init(
    class_filepath="huggingface_qwen.py",
    class_name="Qwen2")(
      api_token="YOUR_HF_API_KEY_GOES_HERE",
      model_name="nicolay-r/qwen25-05b-multiclinsum-distil",
      temp=0.1,
      use_bf16=True,
      max_new_tokens=args.max_tokens,
      device=args.device
  ),
  infer_mode="batch",
  batch_size=4,
  return_mode="record",
  # INPUT TEXTS:
  input_dicts_it=[
     {"input": "A patient 62 years old with ..."}
  ],
)

for record in content_it:
  # ここに要約を含む結果辞書があります。
  print(record["summary"])

📚 ドキュメント

モデルの出所

• コードリポジトリ：https://github.com/nicolay-r/distil-tuning-llm
• 論文：公開待ち
• デモ：https://colab.research.google.com/drive/1TXGaz39o73nBucEQw12gbad7Tw11j2Ol?usp=sharing

🔧 技術詳細

訓練データ

• MultiClinSum
  • データセットのダウンロードには 以下のスクリプト を使用します。
  • 公式サイト：https://temu.bsc.es/multiclinsum
  • データ：https://zenodo.org/records/15463353
  • BioASQ：http://bioasq.org/

訓練プロセス

訓練プロセスは以下の手順で構成されています：

1. 要約蒸留のための rationale の準備。
2. 微調整 プロセスの開始。

準備作業：Qwen/Qwen2.5-72B-Instruct を使用して、以下のスクリプトで rationale を推論します：

• https://github.com/nicolay-r/distil-tuning-llm/blob/master/predict/annotate_train_rationale.py
• 上記のスクリプトは open-router をリモート API プロバイダーとして使用します：https://openrouter.ai/qwen/qwen-2.5-72b-instruct

微調整：GoogleColab A100（40GB VRAM）+ 80GB RAM で MultiClinSum データセット を使用して微調整するには、以下のスクリプトに従ってください：

• https://github.com/nicolay-r/distil-tuning-llm/blob/master/distil_ft_qwen25_05b_A100-40GB_80GB_dis.sh

前処理

微調整 の前処理には以下のスクリプトを参考にしてください：

• https://github.com/nicolay-r/distil-tuning-llm/blob/master/resources/make_dataset_mult.py

訓練ハイパーパラメータ

元のパラメータを参考にします：

• https://github.com/QwenLM/Qwen2.5-VL/tree/main/qwen-vl-finetune 以下のスクリプトを使用します：
• https://github.com/nicolay-r/distil-tuning-llm/blob/master/distil_ft_qwen25_05b_A100-40GB_80GB_dis.sh

速度、サイズ、時間

GoogleColab A100 で 3 エポックの微調整プロセスには約 ~1 時間 かかります。

評価

テストデータ

すべての利用可能な訓練データのうち、20 篇の文書の評価分割を使用し、すべての言語：en、fr、pt、es をカバーしています。

評価指標

今回の評価では、rouge スコアのみを使用します。

評価結果

distil と standard のバージョンそれぞれについて、3 つの独立した微調整プロセスを実行し、複数回の実行結果の差異を示します。

図：このモデルの評価結果は distil バージョンに対応しています。

まとめ

ハードウェア環境

モデルの推論と実験の実行には、GoogleColab Notebook サービスとその関連リソースを使用します：

• 微調整：A100（40GB）
• 推論：T4（16GB）

リポジトリ内の Google Codalab Notebook を参照してください：

• https://github.com/nicolay-r/distil-tuning-llm

ソフトウェア環境

このモデルカードの公式コードリポジトリは以下です：

• https://github.com/nicolay-r/distil-tuning-llm

📄 ライセンス

このモデルは MIT ライセンスを使用しています。

引用

BibTeX：追加待ち

モデルカード作成者

Nicolay Rusnachenko