Notdiamond 0001

🚀 notdiamond-0001

notdiamond-0001 能够根据具体任务，自动判断将查询请求发送给 GPT-3.5 还是 GPT-4，以选择最适合该任务的模型。我们使用了来自强大的跨领域评估基准的数十万个数据点对 notdiamond-0001 进行了训练。

此路由模型可在 Apache 2.0 许可下免费使用。你还可以通过我们的 API 访问功能更强大的路由模型，该模型支持更多的模型。

notdiamond-0001 路由模型是一个分类器，它会返回 GPT-3.5 或 GPT-4 的标签。你可以自行决定使用每个模型的哪个版本，并使用自己的密钥在客户端进行调用。

🚀 快速开始

要使用 notdiamond-0001，需按照以下提示格式来组织你的查询，将查询内容附加在末尾：

    query = "Can you write a function that counts from 1 to 10?"

    formatted_prompt = f"""Determine whether the following query should be sent to GPT-3.5 or GPT-4.
        Query:
        {query}"""

然后，你可以按照以下方式确定要调用的模型：

    import torch
    from transformers import AutoTokenizer, AutoModelForSequenceClassification

    id2label = {0: 'gpt-3.5', 1: 'gpt-4'}
    tokenizer = AutoTokenizer.from_pretrained("notdiamond/notdiamond-0001")
    model = AutoModelForSequenceClassification.from_pretrained("notdiamond/notdiamond-0001")

    inputs = tokenizer(formatted_prompt, truncation=True, max_length=512, return_tensors="pt")
    logits = model(**inputs).logits
    model_id = logits.argmax().item()
    model_to_call = id2label[model_id]

若要了解如何将其集成到你的技术栈中，以及如何使用 notdiamond-0001 在降低延迟和成本的同时提高质量的更多详细信息，请查看我们的 文档。

📄 许可证

本项目采用 Apache 2.0 许可证。