Notdiamond 0001

🚀 notdiamond-0001

notdiamond-0001 能夠根據具體任務，自動判斷將查詢請求發送給 GPT-3.5 還是 GPT-4，以選擇最適合該任務的模型。我們使用了來自強大的跨領域評估基準的數十萬個數據點對 notdiamond-0001 進行了訓練。

此路由模型可在 Apache 2.0 許可下免費使用。你還可以通過我們的 API 訪問功能更強大的路由模型，該模型支持更多的模型。

notdiamond-0001 路由模型是一個分類器，它會返回 GPT-3.5 或 GPT-4 的標籤。你可以自行決定使用每個模型的哪個版本，並使用自己的密鑰在客戶端進行調用。

🚀 快速開始

要使用 notdiamond-0001，需按照以下提示格式來組織你的查詢，將查詢內容附加在末尾：

    query = "Can you write a function that counts from 1 to 10?"

    formatted_prompt = f"""Determine whether the following query should be sent to GPT-3.5 or GPT-4.
        Query:
        {query}"""

然後，你可以按照以下方式確定要調用的模型：

    import torch
    from transformers import AutoTokenizer, AutoModelForSequenceClassification

    id2label = {0: 'gpt-3.5', 1: 'gpt-4'}
    tokenizer = AutoTokenizer.from_pretrained("notdiamond/notdiamond-0001")
    model = AutoModelForSequenceClassification.from_pretrained("notdiamond/notdiamond-0001")

    inputs = tokenizer(formatted_prompt, truncation=True, max_length=512, return_tensors="pt")
    logits = model(**inputs).logits
    model_id = logits.argmax().item()
    model_to_call = id2label[model_id]

若要了解如何將其集成到你的技術棧中，以及如何使用 notdiamond-0001 在降低延遲和成本的同時提高質量的更多詳細信息，請查看我們的 文檔。

📄 許可證

本項目採用 Apache 2.0 許可證。