Notdiamond 0001

🚀 notdiamond-0001

notdiamond-0001は、タスクに最適なモデルに応じて、クエリをGPT - 3.5またはGPT - 4に自動的に送信するかを判断します。当社は、堅牢なクロスドメイン評価ベンチマークから得られた数十万のデータポイントを使用してnotdiamond-0001を訓練しました。

このルーターは、Apache 2.0ライセンスの下で無料で使用できます。また、より多くのモデルをサポートする、より強力なルーターには、APIからアクセスできます。

notdiamond-0001ルーターモデルは分類器であり、GPT - 3.5またはGPT - 4のいずれかのラベルを返します。各モデルのどのバージョンを使用するかを決定し、独自のキーを使用してクライアント側で呼び出しを行います。

🚀 クイックスタート

notdiamond-0001を使用するには、以下のプロンプトを使用してクエリをフォーマットし、最後にクエリを追加します。

基本的な使用法

    query = "Can you write a function that counts from 1 to 10?"

    formatted_prompt = f"""Determine whether the following query should be sent to GPT-3.5 or GPT-4.
        Query:
        {query}"""

次に、呼び出すモデルを以下のように決定できます。

高度な使用法

    import torch
    from transformers import AutoTokenizer, AutoModelForSequenceClassification

    id2label = {0: 'gpt-3.5', 1: 'gpt-4'}
    tokenizer = AutoTokenizer.from_pretrained("notdiamond/notdiamond-0001")
    model = AutoModelForSequenceClassification.from_pretrained("notdiamond/notdiamond-0001")

    inputs = tokenizer(formatted_prompt, truncation=True, max_length=512, return_tensors="pt")
    logits = model(**inputs).logits
    model_id = logits.argmax().item()
    model_to_call = id2label[model_id]

これをあなたのテクノロジースタックに統合し、notdiamond-0001を使用して品質を向上させながらレイテンシとコストを削減する方法の詳細については、ドキュメントを参照してください。

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で提供されています。