Chocolatine Fusion 14B

🚀 Chocolatine-Fusion-14B

FINGU-AI/Chocolatine-Fusion-14B 是一個融合模型，它結合了 jpacifico/Chocolatine-2-14B-Instruct-v2.0b3 和 jpacifico/Chocolatine-2-14B-Instruct-v2.0b2 的優勢。該模型在保留 Chocolatine 優點的基礎上，通過優化融合進一步提升了推理和多輪對話能力。

🚀 快速開始

你可以使用以下代碼運行這個模型：

基礎用法

import transformers
from transformers import AutoTokenizer

# Format prompt
message = [
    {"role": "system", "content": "You are a helpful assistant chatbot."},
    {"role": "user", "content": "What is a Large Language Model?"}
]
tokenizer = AutoTokenizer.from_pretrained("FINGU-AI/Chocolatine-Fusion-14B")
prompt = tokenizer.apply_chat_template(message, add_generation_prompt=True, tokenize=False)

# Create pipeline
pipeline = transformers.pipeline(
    "text-generation",
    model="FINGU-AI/Chocolatine-Fusion-14B",
    tokenizer=tokenizer
)

# Generate text
sequences = pipeline(
    prompt,
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    num_return_sequences=1,
    max_length=200,
)
print(sequences[0]['generated_text'])

✨ 主要特性

• 融合優勢：結合了兩個模型的優點，優化融合提升推理和多輪對話能力。
• 雙語言能力：使用法語和英語 RLHF 數據集進行訓練，增強了雙語能力。
• 長上下文支持：支持長達 128K 個標記的長上下文，並能生成最多 8K 個標記。

🔧 技術細節

訓練與微調

Chocolatine-Fusion-14B 基於 Chocolatine-2 系列的 DPO 微調，而 Chocolatine-2 系列最初是 sometimesanotion/Lamarck-14B-v0.7 的微調版本。

• 該模型使用 法語和英語 RLHF 數據集（包括 jpacifico/french-orca-dpo-pairs-revised）進行訓練，以增強雙語能力。
• 長上下文支持已擴展到 128K 個標記，並能夠生成最多 8K 個標記。

📄 許可證

本項目採用 Apache-2.0 許可證。

⚠️ 侷限性

Chocolatine-Fusion-14B 是一個 模型融合技術的演示，而非獨立的微調模型。

• 它 沒有 任何內置的審核機制。
• 回覆可能會因交互和提示風格的不同而有所差異。
• 在處理 高度技術性或特定領域的查詢 時，可能需要進一步微調。

👨‍💻 開發信息