Gen 8B R2

🚀 Gen-8B-R2

Gen-8B-R2は、RAGシステム向けの、より堅牢で信頼性の高い生成モデルです。このモデルは、検索ノイズや情報過多によって引き起こされる幻覚を効果的に軽減します。詳細はこちらの論文をご覧ください。

📦 モデル情報

✨ 主な機能

Gen-8B-R2とは？

このモデルはExt2Gen-8B-R2のバリアントの1つで、チャンクリストから文を抽出するプロセスを無効にしています。Ext2Gen-8B-R2の詳細はこちらをご覧ください。

💻 使用例

基本的な使用法

推奨プロンプト

def prepare_sample_text(prompt):
    row_json = [{"role": "user", "content": prompt}]
    return tokenizer.apply_chat_template(row_json, tokenize=False)

def format_prompt_template(query, chunk_list):

    chunk_list = ['[Chunk ID: '+ str(idx+1) + '] ' + chunk_text for idx, chunk_text in enumerate(chunk_list)]
    chunk_list = '\n'.join(chunk_list)

    prompt = '''
You are an expert assistant trained to generate answers based on document chunks.

### Generation Instruction:
- Answer to the Query based on the given Chunk List.

### Query: 
%s

### Chunk List:
%s

### Output:
''' % (query, chunk_list)
    
    return prompt.strip()


prompt = format_prompt_template(query, noisy_chunks)
prompt =  prepare_sample_text(prompt)

このプロンプトは、抽出された関連文とクエリへの回答の両方を出力します。出力は以下の例のように一貫した形式になります。

The estimated number of deaths at Chelmno is 150-300,000, mainly Jews.

高度な使用法

推奨生成パラメータ

max_new_tokens=1024, # or 2048 
do_sample=True,
temperature=0.8,
top_p=0.9,

⚠️ 重要提示

現在、このモデルは開発中です。

💡 使用建议

このモデルをRAGシステムで使用する場合、推奨プロンプトと生成パラメータを参考にしてください。