Deephermes 3 Llama 3 3B Preview Abliterated

🚀 DeepHermes-3-Llama-3-3B-Preview-Abliterated

Nous ResearchによるHermesシリーズの最新版であるDeepHermes 3 Preview Abliteratedは、世界で最初に推論（回答の精度を向上させる長い思考過程）と通常のLLM応答モードを1つのモデルに統合したモデルの1つです。また、LLMの注釈付け、判断、関数呼び出し機能も向上させています。

🚀 クイックスタート

DeepHermes 3 Preview Abliteratedは、Nous Researchによる旗艦的なHermesシリーズのLLMの最新バージョンであり、世界で最初に推論（回答の精度を向上させる長い思考過程）と通常のLLM応答モードを1つのモデルに統合したモデルの1つです。また、LLMの注釈付け、判断、関数呼び出し機能も向上させています。DeepHermes 3 Preview Abliteratedはハイブリッド推論モデルであり、「直感的な」従来のモード応答と長い思考過程の推論応答を1つのモデルに統合し、システムプロンプトで切り替えることができる最初のLLMモデルの1つです。

✨ 主な機能

DeepHermes-3-Llama-3-3B-Preview-Abliteratedは、高度な推論、問題解決、構造化された思考生成を目的として設計されています。直感的な応答生成と深い思考過程の推論をシームレスに統合しているため、論理的な推論、複雑な問題分析、AI支援による意思決定が必要なタスクに最適です。注釈付け、判断、関数呼び出し機能が向上しているため、精度と解釈可能性が重要な研究、自動化、コーディング支援、AIによる学術または専門的なアプリケーションに適しています。

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
import flash_attn
import time

tokenizer = AutoTokenizer.from_pretrained("prithivMLmods/DeepHermes-3-Llama-3-3B-Preview-Abliterated")

model = AutoModelForCausalLM.from_pretrained(
    "prithivMLmods/DeepHermes-3-Llama-3-3B-Preview-Abliterated",
    torch_dtype=torch.float16,
    device_map="auto",
    attn_implementation="flash_attention_2",
)

messages = [
    {
        "role": "system",
        "content": "You are a deep thinking AI, you may use extremely long chains of thought to deeply consider the problem and deliberate with yourself via systematic reasoning processes to help come to a correct solution prior to answering. You should enclose your thoughts and internal monologue inside <think> </think> tags, and then provide your solution or response to the problem."
    },
    {
        "role": "user",
        "content": "What is y if y=2*2-4+(3*2)"
    }
]

input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors='pt').to("cuda")
generated_ids = model.generate(input_ids, max_new_tokens=2500, temperature=0.8, repetition_penalty=1.1, do_sample=True, eos_token_id=tokenizer.eos_token_id)
print(f"Generated Tokens: {generated_ids.shape[-1:]}")
response = tokenizer.decode(generated_ids[0], skip_special_tokens=True, clean_up_tokenization_space=True)
print(f"Response: {response}")

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。