Phico D Instruck

🚀 acecalisto3/PhiCo-D-Instruck模型

acecalisto3/PhiCo-D-Instruck 是一個基於 🤗 Transformers 庫的模型，可在 Hugging Face 模型中心獲取。該模型主要用於指令跟隨任務，能夠根據給定的上下文和指令生成相應的回覆。

🚀 快速開始

以下是使用 acecalisto3/PhiCo-D-Instruck 模型的示例代碼：

from transformers import T5ForConditionalGeneration, T5Tokenizer

model = T5ForConditionalGeneration.from_pretrained("acecalisto3/PhiCo-D-Instruck")
tokenizer = T5Tokenizer.from_pretrained("acecalisto3/PhiCo-D-Instruck")

context = "Your context goes here."
instructions = "Your instructions go here."

inputs = tokenizer.encode(f"{context} {instructions}", return_tensors="pt")
outputs = model.generate(inputs, max_length=50, num_beams=5, early_stopping=True)

response = tokenizer.decode(outputs[0])
print(response)

✨ 主要特性

• 指令跟隨：能夠根據給定的上下文和指令生成相應的回覆。
• 可微調性：可以針對代碼生成、對話系統等下游任務進行微調。

📚 詳細文檔

模型詳情

模型描述

acecalisto3/PhiCo-D-Instruck 是 t5-base 模型的微調版本，專為 InstrucText 的指令跟隨任務而設計。它是一個具有 12 層、768 個隱藏單元和 12 個注意力頭的序列到序列（seq2seq）模型。

模型來源

• 倉庫：PhiCo-D-Instruck
• 論文：PhiCo-D: A Comprehensive Dataset for Instruction Following and Code Generation
• 演示：待補充更多信息

使用場景

直接使用

acecalisto3/PhiCo-D-Instruck 模型可用於指令跟隨任務，根據給定的上下文和指令生成回覆。

下游使用

該模型可針對代碼生成、對話系統等下游任務進行微調，適用於需要理解和生成自然語言文本的應用場景。

不適用場景

acecalisto3/PhiCo-D-Instruck 模型不適用於需要理解給定指令之外的上下文的任務，例如通用世界知識或特定領域知識。

偏差、風險和侷限性

數據偏差

模型可能存在從訓練數據繼承而來的偏差。儘管 PhiCo-D 數據集規模較大，但可能無法涵蓋所有可能的場景和上下文。

侷限性

模型的回覆基於給定的上下文和指令。如果上下文或指令不清晰、模糊或不完整，模型的表現可能不佳。

建議

用戶（包括直接使用和下游使用）應瞭解模型的風險、偏差和侷限性。

訓練詳情

訓練數據

PhiCo-D 數據集卡片

訓練過程

• 預處理：使用 T5 分詞器對數據進行分詞。
• 訓練超參數：訓練模式為 fp16。
• 速度、大小和時間：
  • 訓練輪數：5
  • 總訓練時間：2 天
  • 每批平均時間：1.5 秒

評估

測試數據、因素和指標

• 測試數據：PhiCo-D 測試數據
• 因素：上下文和指令的多樣性
• 指標：
  • BLEU-4
  • ROUGE-L
  • METEOR

結果

模型檢查

PhiCo-D 模型可解釋性

環境影響

可以使用 Lacoste 等人（2019） 提出的 機器學習影響計算器 來估算碳排放。

• 硬件類型：NVIDIA V100
• 使用時長：48 小時
• 雲服務提供商：Google Cloud
• 計算區域：us-central1
• 碳排放：3200 克 CO2eq

技術規格

模型架構和目標

acecalisto3/PhiCo-D-Instruck 模型基於 T5-base 模型架構，目標是實現序列到序列的轉換。

計算基礎設施

• 硬件：NVIDIA V100，16 GB GPU 內存
• 軟件：PyTorch 1.11，Transformers 4.20，CUDA 11.3

引用

BibTeX

@misc{PhiCo-D,
    author = {AceCalisto3},
    title = {PhiCo-D-Instruck: A Fine-Tuned T5 Model for Instruction Following},
    howpublished = {\url{https://huggingface.co/acecalisto3/PhiCo-D-Instruck}},
    year = {2023},
    note = {[License: Apache-2.0]},
}

APA

AceCalisto3. (2023). PhiCo-D-Instruck: A Fine-Tuned T5 Model for Instruction Following. Retrieved from https://huggingface.co/acecalisto3/PhiCo-D-Instruck

術語表

• seq2seq：序列到序列模型用於將一個序列轉換為另一個序列。

更多信息

如需更多信息，請訪問 PhiCo-D Github 倉庫。

模型卡片作者

AceCalisto3

模型卡片聯繫方式

如有問題或疑慮，請通過 Hugging Face 個人資料聯繫 AceCalisto3。