Phi Hermes 1.3B

🚀 パフィン-ファイ V2 モデルカード

Hermesデータセットを用いてFine-tuningされたPhi-1.5モデルです。

🚀 クイックスタート

Phiはdevice_map "auto"をサポートしておらず、fp16での推論もできないようです。そのため、bf16を使用してください。

以下は推論に使用できるコードですが、改善の余地があります。

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("teknium/Puffin-Phi-v2", trust_remote_code=True, torch_dtype=torch.bfloat16).to("cuda")
tokenizer = AutoTokenizer.from_pretrained("teknium/Puffin-Phi-v2", trust_remote_code=True, torch_dtype=torch.bfloat16)
inputs = tokenizer(f"### Instruction:\nWrite a negative review for the website, Twitter.\n### Response:\n", return_tensors="pt", return_attention_mask=False)
outputs = model.generate(**inputs, max_length=128, do_sample=True, temperature=0.2, top_p=0.9, use_cache=True, repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
text = tokenizer.batch_decode(outputs)[0]
print(text)

プロンプト形式はAlpacaで、以下のように入力します。

### Instruction:
<prompt>
### Response:

✨ 主な機能

このモデルは、OpenHermesデータセットを使用して訓練されています。このデータセットは、GPT-4によって生成された240,000以上の合成データポイントを含んでいます。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの詳細

モデルのソース

このモデルは、私が作成したOpenHermesデータセットを使用して訓練されました。このデータセットには、主にGPT-4によって生成された240,000以上の合成データポイントが含まれています。

訓練の詳細

訓練手順

Axolotlを使用して訓練されました。私のすべてのパフィンモデルの訓練実行（これはwandb上のpuffin-phi-4です）のwandb実行を見るには、以下のリンクを参照してください。 https://wandb.ai/teknium1/hermes-phi/runs/hermes-phi-1

評価

🔧 技術詳細

このREADMEには具体的な技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

ライセンスはOtherです。