Qwen2.5 7B Blog Key Points

🚀 Qwen2.5-7B-blog-key-points

このモデルは、Qwen/Qwen2.5-7B-Instruct を blog-key-points データセット でファインチューニングしたものです。ブログ記事やウェブコンテンツから要点を抽出し、重要な情報を網羅した簡潔な箇条書きの要約を提供することに特化しています。

✨ 主な機能

Qwen2.5-7B-blog-key-points は、記事から要点を抽出するタスクに特化してファインチューニングされた70億パラメータのモデルです。記事全体を処理し、最も重要な情報を強調した簡潔な箇条書きの要約を生成することができます。30億パラメータのバージョンと比較して、このモデルは複雑な記事の理解能力と、より微妙な要約を生成する能力が向上しています。

モデルの詳細

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "ncls-p/Qwen2.5-7B-blog-key-points"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

article = """
[Your article text here]
"""

prompt = f"""
Extract the key points from the following article:

{article}
"""

inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=1024)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)

print(response)

📚 ドキュメント

直接利用

このモデルは記事から要点を抽出するために設計されています。以下の用途に直接使用することができます。

• ブログ記事の要約
• ニュース記事からの重要情報の抽出
• 長文コンテンツの箇条書き要約の作成
• 研究論文の簡潔な概要の生成
• 複雑な情報を理解しやすいポイントにまとめる

🔧 技術詳細

学習

このモデルは、200の記事と要約のペアを含む blog-key-points データセット でファインチューニングされました。各ペアは、記事全体と、AIを使用して抽出された要点の箇条書き要約で構成されています。

学習手順

• ファインチューニングフレームワーク: Unsloth
• 学習データの形式:

  {
    "instruction": "",
    "input": "Full article content",
    "output": "Here are the key points of the article:\n* Key point 1\n* Key point 2\n* Key point 3\n..."
  }
  

評価

このモデルは、学習中に見られなかった記事から関連する要点を抽出する能力について評価されました。評価指標は以下に焦点を当てています。

1. 関連性: 抽出されたポイントが記事の主要なアイデアをどれだけうまく捉えているか
2. 簡潔性: 情報を明確な箇条書き形式で要約する能力
3. 完全性: 要約にすべての重要な情報が含まれているかどうか
4. 一貫性: 抽出されたポイントの論理的な流れと組織性

制限とバイアス

• このモデルは、学習データに含まれるバイアスを引き継ぐ可能性があります。これには、元の記事や要点抽出プロセスに潜在的なバイアスが含まれる場合があります。
• 性能は、入力記事の長さ、複雑さ、およびドメインによって異なる場合があります。
• このモデルは主に英語のコンテンツで学習されているため、他の言語のコンテンツではうまく機能しない可能性があります。
• 他の要約モデルと同様に、重要な情報を省略したり、元の内容を誤って表現したりするリスクがあります。
• 70億パラメータのサイズは30億パラメータのバージョンよりも能力が向上していますが、実行にはより多くの計算リソースが必要です。

📄 ライセンス

このモデルは CC-BY-4.0 ライセンスの下で提供されています。

引用方法

もしあなたの研究でこのモデルを使用した場合は、以下のように引用してください。

@misc{qwen25-7b-blog-key-points,
  author = {ncls-p},
  title = {Qwen2.5-7B-blog-key-points},
  year = {2024},
  publisher = {Hugging Face},
  journal = {Hugging Face model repository},
  howpublished = {\url{https://huggingface.co/ncls-p/Qwen2.5-7B-blog-key-points}},
}

データセットの作成

このモデルの学習に使用されたデータセットは、llm-to-blog-key-points-dataset を使用して作成されました。これは、ウェブ記事からAIを使用して要点を抽出し、構造化された形式でデータセットに追加するCLIツールです。