Phi Hermes 1.3B

🚀 Puffin-Phi V2模型卡片

Puffin-Phi V2是基於Hermes數據集對Phi-1.5進行微調得到的模型，可用於文本生成任務。

🚀 快速開始

模型使用注意事項

Phi不支持device_map "auto"，並且似乎無法以fp16進行推理，因此建議使用bf16。

推理代碼示例

以下是一個可以運行的推理代碼，不過仍有優化空間：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("teknium/Puffin-Phi-v2", trust_remote_code=True, torch_dtype=torch.bfloat16).to("cuda")
tokenizer = AutoTokenizer.from_pretrained("teknium/Puffin-Phi-v2", trust_remote_code=True, torch_dtype=torch.bfloat16)
inputs = tokenizer(f"### Instruction:\nWrite a negative review for the website, Twitter.\n### Response:\n", return_tensors="pt", return_attention_mask=False)
outputs = model.generate(**inputs, max_length=128, do_sample=True, temperature=0.2, top_p=0.9, use_cache=True, repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
text = tokenizer.batch_decode(outputs)[0]
print(text)

提示格式

提示格式採用Alpaca格式，示例如下：

### Instruction:
<prompt>
### Response:

✨ 主要特性

本模型基於OpenHermes數據集進行訓練，該數據集包含超過240,000個主要由GPT - 4生成的合成數據點。

📦 安裝指南

文檔未提供具體安裝步驟，可參考推理代碼中的模型和分詞器加載方式。

💻 使用示例

基礎用法

上述推理代碼即為基礎的使用示例，通過該代碼可以實現簡單的文本生成任務。

📚 詳細文檔

模型來源

本模型在OpenHermes數據集上進行訓練，該數據集由作者創建，包含超過240,000個主要由GPT - 4生成的合成數據點。

訓練過程

使用Axolotl進行訓練。可查看所有Puffin運行的wandb記錄（此為wandb上的puffin - phi - 4）： https://wandb.ai/teknium1/hermes-phi/runs/hermes-phi-1

評估結果

📄 許可證

本模型使用其他許可證。