Gen 8B R2

🚀 Gen-8B-R2

Gen-8B-R2是一款專為RAG系統打造的生成模型，能有效緩解檢索噪聲和信息過載導致的幻覺問題，為用戶提供更可靠的生成結果。

🚀 快速開始

你是否正在為RAG系統尋找一個更強大、更可靠的生成模型？Gen-8B-R2模型就是你的理想之選，它能有效減輕檢索噪聲和信息過載導致的幻覺問題。更多詳細信息請查看我們的論文 鏈接。

⚠️ 重要提示

我們仍在對該模型進行開發和完善。

✨ 主要特性

Gen-8B-R2是Ext2Gen-8B-R2的變體之一，它取消了從塊列表中提取句子的過程。關於Ext2Gen-8B-R2的詳細信息，請查看 這裡。

💻 使用示例

基礎用法

以下是推薦的提示模板和生成參數示例：

def prepare_sample_text(prompt):
    row_json = [{"role": "user", "content": prompt}]
    return tokenizer.apply_chat_template(row_json, tokenize=False)

def format_prompt_template(query, chunk_list):

    chunk_list = ['[Chunk ID: '+ str(idx+1) + '] ' + chunk_text for idx, chunk_text in enumerate(chunk_list)]
    chunk_list = '\n'.join(chunk_list)

    prompt = '''
You are an expert assistant trained to generate answers based on document chunks.


### Generation Instruction:
- Answer to the Query based on the given Chunk List.


### Query: 
%s


### Chunk List:
%s


### Output:
''' % (query, chunk_list)
    
    return prompt.strip()


prompt = format_prompt_template(query, noisy_chunks)
prompt =  prepare_sample_text(prompt)

高級用法

該提示模板的輸出會同時包含提取的相關句子和對查詢的回答，輸出格式如下示例所示：

The estimated number of deaths at Chelmno is 150-300,000, mainly Jews.

推薦生成參數

max_new_tokens=1024, # or 2048 
do_sample=True,
temperature=0.8,
top_p=0.9,

📄 許可證

本項目採用Apache 2.0許可證。

📦 模型信息