Qwen2.5 3B Blog Key Points

🚀 Qwen2.5-3B-blog-key-points

このモデルは、Qwen/Qwen2.5-3B-Instruct を ncls-p/blog-key-points データセットでファインチューニングしたものです。ブログ記事やウェブコンテンツから要点を抽出し、重要な情報を網羅した簡潔な箇条書きの要約を提供することに特化しています。

✨ 主な機能

モデルの説明

Qwen2.5-3B-blog-key-points は、記事から要点を抽出するタスクに特化してファインチューニングされた30億パラメータのモデルです。記事全体を処理し、最も重要な情報を強調した簡潔な箇条書きの要約を生成することができます。

モデルの詳細

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "ncls-p/Qwen2.5-3B-blog-key-points"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

article = """
[Your article text here]
"""

prompt = f"""
Extract the key points from the following article:

{article}
"""

inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=1024)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)

print(response)

📚 ドキュメント

用途

直接利用

このモデルは、記事から要点を抽出するために設計されています。以下の用途に直接使用できます。

• ブログ記事の要約
• ニュース記事からの重要情報の抽出
• 長文コンテンツの箇条書き要約の作成
• 研究論文の簡潔な概要の生成

学習

このモデルは、blog-key-pointsデータセット でファインチューニングされました。このデータセットには、200の記事と要約のペアが含まれています。各ペアは、記事全体と、AIを使用して抽出された要点の箇条書き要約で構成されています。

学習手順

• ファインチューニングフレームワーク: Unsloth
• 学習データ形式:

  {
    "instruction": "",
    "input": "Full article content",
    "output": "Here are the key points of the article:\n* Key point 1\n* Key point 2\n* Key point 3\n..."
  }
  

評価

このモデルは、学習時に見ていない記事から関連する要点を抽出する能力について評価されました。評価指標は以下に焦点を当てています。

1. 関連性: 抽出された要点が記事の主要なアイデアをどれだけうまく捉えているか
2. 簡潔性: 情報を明確な箇条書き形式で要約する能力
3. 完全性: 要約にすべての重要な情報が含まれているかどうか

制限とバイアス

• このモデルは、学習データに含まれるバイアスを引き継ぐ可能性があります。これには、ソース記事や要点抽出プロセスに潜在的なバイアスが含まれる場合があります。
• 性能は、入力記事の長さ、複雑さ、ドメインによって異なる場合があります。
• このモデルは主に英語のコンテンツで学習されており、他の言語のコンテンツではうまく機能しない可能性があります。
• 他の要約モデルと同様に、重要な情報を省略したり、元のコンテンツを誤って表現したりするリスクがあります。

引用方法

もしあなたの研究でこのモデルを使用した場合は、次のように引用してください。

@misc{qwen25-3b-blog-key-points,
  author = {ncls-p},
  title = {Qwen2.5-3B-blog-key-points},
  year = {2024},
  publisher = {Hugging Face},
  journal = {Hugging Face model repository},
  howpublished = {\url{https://huggingface.co/ncls-p/Qwen2.5-3B-blog-key-points}},
}

データセットの作成

このモデルの学習に使用されたデータセットは、llm-to-blog-key-points-dataset を使用して作成されました。これは、AIを使用してウェブ記事から要点を抽出し、構造化された形式でデータセットに追加するCLIツールです。

📄 ライセンス

このモデルは CC-BY-4.0 ライセンスの下で提供されています。