Approval Bureau Merged

🚀 審批局合併模型 (Approval Bureau Merged Model)

這個模型是將基礎模型 DeepSeek - R1 - Distill - Qwen - 32B 與 approval_bureau_model_lora 適配器合併後的成果，可用於文檔審核、文本生成和內容審批等場景，支持中英雙語且以中文為主。

🚀 快速開始

使用Transformers加載模型

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 設置模型路徑
model_path = "distill/approval-bureau-merged"  # 或使用本地路徑

# 加載模型和分詞器
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16,  # 使用半精度可節省內存
    device_map="auto"           # 自動分配到可用設備
)

# 生成文本示例
input_text = "請審核以下文檔內容："
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(
    inputs.input_ids,
    max_length=500,
    temperature=0.7,
    top_p=0.9
)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

流式輸出示例

from transformers import TextIteratorStreamer
from threading import Thread

# 初始化流式輸出
streamer = TextIteratorStreamer(tokenizer, skip_special_tokens=True)

# 創建生成參數
generation_kwargs = {
    "input_ids": inputs.input_ids,
    "max_length": 500,
    "temperature": 0.7,
    "top_p": 0.9,
    "streamer": streamer
}

# 在後臺線程中運行生成
thread = Thread(target=model.generate, kwargs=generation_kwargs)
thread.start()

# 流式輸出結果
for text in streamer:
    print(text, end="", flush=True)

⚠️ 重要提示

• 該模型需要較大的GPU內存（推薦至少24GB以上）。
• 對於內存受限的環境，建議使用4 - bit或8 - bit量化。
• 模型輸出僅供參考，關鍵決策請結合人工審核。

✨ 主要特性

• 基於強大的DeepSeek - R1 - Distill - Qwen - 32B架構。
• 融合了審批局專用的LoRA微調層。
• 適用於文檔審核、文本生成和內容審批相關場景。
• 保留了基礎模型的推理能力，同時增強了特定領域功能。

📦 安裝指南

文檔未提及安裝步驟，故跳過該章節。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 設置模型路徑
model_path = "distill/approval-bureau-merged"  # 或使用本地路徑

# 加載模型和分詞器
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16,  # 使用半精度可節省內存
    device_map="auto"           # 自動分配到可用設備
)

# 生成文本示例
input_text = "請審核以下文檔內容："
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(
    inputs.input_ids,
    max_length=500,
    temperature=0.7,
    top_p=0.9
)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

高級用法

from transformers import TextIteratorStreamer
from threading import Thread

# 初始化流式輸出
streamer = TextIteratorStreamer(tokenizer, skip_special_tokens=True)

# 創建生成參數
generation_kwargs = {
    "input_ids": inputs.input_ids,
    "max_length": 500,
    "temperature": 0.7,
    "top_p": 0.9,
    "streamer": streamer
}

# 在後臺線程中運行生成
thread = Thread(target=model.generate, kwargs=generation_kwargs)
thread.start()

# 流式輸出結果
for text in streamer:
    print(text, end="", flush=True)

📚 詳細文檔

模型基本信息

🔧 技術細節

文檔未提及技術實現細節，故跳過該章節。

📄 許可證

本模型使用GPL - 3.0許可證。使用前請確保瞭解相關許可條款。

致謝

感謝DeepSeek和Qwen團隊提供的基礎模型，以及所有為模型訓練和調優做出貢獻的開發者。