Jais 7b Chat

🚀 Jais-7b-chat（雙重量化版本）

本模型是Core42的jais-13b-chat的雙重量化版本。其目的是在GPU性能較差的機器上運行該模型。對於高質量任務，建議使用未量化的13B模型。

模型創建者：Core42

原始模型：jais-13b-chat

🚀 快速開始

該模型可作為文本生成管道任務運行。

📦 安裝指南

1. 安裝依賴庫

pip install -Uq huggingface_hub transformers bitsandbytes xformers accelerate

2. 創建管道

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline, TextStreamer, BitsAndBytesConfig

tokenizer = AutoTokenizer.from_pretrained("erfanvaredi/jais-7b-chat")
model = AutoModelForCausalLM.from_pretrained(
    "erfanvaredi/jais-7b-chat",
    trust_remote_code=True,
    device_map='auto',
)

# 創建一個管道
pipe = pipeline(model=model, tokenizer=tokenizer, task='text-generation')

3. 創建提示

chat = [
    {"role": "user", "content": 'Tell me a funny joke about Large Language Models.'},
]
prompt = pipe.tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

4. 創建流處理器（可選。如果希望以流的形式獲取生成的文本，可以執行此步驟，否則可以忽略）

streamer = TextStreamer(
    tokenizer,
    skip_prompt=True,
    stop_token=[tokenizer.eos_token]
)

5. 向模型提問

pipe(
  prompt,
  streamer=streamer,
  max_new_tokens=256,
  temperature=0,
)

🔧 技術細節

該模型已在Google Colab Pro的T4實例上成功測試。

📄 許可證

本項目採用Apache-2.0許可證。