Norgpt 3B Rfhl Summarization

🚀 NorGPT-3B-summarization-peft

NorGPT-3B-summarization-peftは、NorGPT-3Bモデルをベースに、NO-CNN-DailyMailデータセットを用いてRLHF戦略で学習された要約モデルです。このモデルは、ノルウェー語の文章を効果的に要約することができます。

🚀 クイックスタート

NorGPT-3B-summarization-peftは、ノルウェー語の文章要約タスクに特化したモデルです。以下に、このモデルの基本的な使い方や学習データの分割、推論方法などを説明します。

✨ 主な機能

• RLHF戦略の活用：元のRLHFのステップ2とは異なり、NorBERTモデルを用いて、候補生成テキストと人間が注釈付けした要約（ゴールデン要約）との意味的類似度を推定することで報酬モデルを学習します。
• 特定のプロンプト形式：特定のプロンプト形式を使用することで、効果的な要約生成が可能です。

📦 インストール

以下のコードを使用して、モデルとトークナイザーをロードします。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "NorGLM/NorGPT-3B-rfhl-summarization"
tokenizer = AutoTokenizer.from_pretrained(model_id)
tokenizer.pad_token = tokenizer.eos_token

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map='auto',
    torch_dtype=torch.bfloat16
)

💻 使用例

基本的な使用法

以下は、モデルを使用してテキストを生成する基本的なコード例です。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "NorGLM/NorGPT-3B-rfhl-summarization"
tokenizer = AutoTokenizer.from_pretrained(model_id)
tokenizer.pad_token = tokenizer.eos_token

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map='auto',
    torch_dtype=torch.bfloat16
)

高度な使用法

以下は、テストセットで推論を行うコード例です。

def generate_texts(model, tokenizer, prompts, max_seq_length=200, do_sample=True, top_p=0.95, top_k=10):
    # prompts are a list of news articles
    results = []
    cnt = 0
    for prompt in prompts:
        cnt += 1
        pro_len = len(prompt.split())
        if pro_len>1024:
            results.append('')
            continue

        prompt = 'Summarise the article:\\n' + prompt + ' |||\\n'

        model_inputs = tokenizer(prompt, return_tensors='pt').to(torch_device)
        output = model.generate(**model_inputs, do_sample=False, max_new_tokens=max_seq_length)
        result = tokenizer.decode(output[0], skip_special_tokens=True)
        result = result.split("|||\\n")[-1]
        results.append(result)
    return results

print("--LOADING EVAL DATAS---")
eval_data = load_dataset("NorGLM/NO-CNN-DailyMail", data_files="test.csv")
prompts = eval_data['train']['article']
positive_samples = eval_data['train']['positive_sample']

print("--MAKING PREDICTIONS---")
model.eval()

output_file = <output file name>
with torch.no_grad():
    results = generate_texts(model, tokenizer, prompts)

df = pd.DataFrame({'article':prompts, 'generated_text':results, 'positive_sample':positive_samples})

print("Save results to csv file...")
df.to_csv(output_file)

📚 ドキュメント

プロンプト形式

Summarise the article:\\n{article} |||\\n{positive_sample}

推論用プロンプト

Summarise the article:\\n{article} |||\\n

学習データ分割

RLHFのステップ1からステップ3までの学習に使用するデータの分割は以下の通りです。

🔧 技術詳細

NorGPT-3B-summarization-peftは、NorGPT-3Bモデルをベースに、NO-CNN-DailyMailデータセットを用いてRLHF戦略で学習されています。元のRLHFのステップ2とは異なり、NorBERTモデルを用いて、候補生成テキストと人間が注釈付けした要約（ゴールデン要約）との意味的類似度を推定することで報酬モデルを学習しています。

📄 ライセンス

このモデルは、CC BY-NC-SA 4.0ライセンスの下で提供されています。