Turkish Llama 3 8B Function Calling

🚀 アップロードされたモデル

このモデルは、ytu-ce-cosmos/Turkish-Llama-8b-DPO-v0.1 から適応され、トルコ語での関数呼び出しタスクを実行するために atasoglu/turkish-function-calling-20k データセットで微調整されました。

• 開発者: atasoglu
• ライセンス: apache-2.0
• 微調整元のモデル: ytu-ce-cosmos/Turkish-Llama-8b-DPO-v0.1

このLlamaモデルは、Unsloth とHuggingfaceのTRLライブラリを使用して2倍速でトレーニングされました。

🚀 クイックスタート

モデルの読み込み

まずは、モデルを読み込みます。

import json
from unsloth import FastLanguageModel

# loading the model and tokenizer
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="atasoglu/Turkish-Llama-3-8B-function-calling",
    load_in_4bit=True,
)
FastLanguageModel.for_inference(model)

ツールとメッセージの設定

次に、ツールとメッセージを設定します。

# define the prompt templates
system_prompt = """Sen yardımsever, akıllı ve fonksiyon çağrısı yapabilen bir asistansın.
Aşağıda JSON parçası içinde verilen fonksiyonları kullanarak kullanıcının sorusunu uygun şekilde cevaplamanı istiyorum.

Fonksiyon çağrısı yaparken uyman gereken talimatlar:

* Fonksiyonlar, JSON şeması olarak ifade edilmiştir.
* Eğer kullanıcının sorusu, bu fonksiyonlardan en az biri kullanılarak cevaplanabiliyorsa; uygun bir fonksiyon çağrısını JSON parçası içinde oluştur.
* Fonksiyonların parametreleri için asla uydurmalar yapma ve sadece kullanıcının verdiği bilgileri kullan.
* Eğer kullanıcının sorusu herhangi bir fonksiyon ile cevaplanamıyorsa, sadece "Verilen fonksiyonlarla cevaplanamaz" metnini döndür ve başka bir açıklama yapma.

Bu talimatlara uyarak soruları cevaplandır."""

user_prompt = """### Fonksiyonlar

'''json
{tools}
'''

### Soru

{query}"""

# define the tools and messages
tools = [
    {
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "Get current temperature for a given location.",
            "parameters": {
                "type": "object",
                "properties": {
                    "location": {
                        "type": "string",
                        "description": "City and country e.g. Bogotá, Colombia",
                    }
                },
                "required": ["location"],
                "additionalProperties": False,
            },
            "strict": True,
        },
    }
]
query = "Paris'te hava şu anda nasıl?"
messages = [
    {
        "role": "system",
        "content": system_prompt,
    },
    {
        "role": "user",
        "content": user_prompt.format(
            tools=json.dumps(tools, ensure_ascii=False),
            query=query,
        ),
    },
]

⚠️ 重要提示

実行する前に、ユーザープロンプト内の シングルクォート 文字を バッククォート に変更して、JSONスニペットを指定してください。

出力の生成と評価

最後に、出力を生成して評価します。

import re


# define an evaluation function
def eval_function_calling(text):
    match_ = re.search(r"```json(.*)```", text, re.DOTALL)
    if match_ is None:
        return False, text
    return True, json.loads(match_.group(1).strip())


# tokenize the inputs
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
).to("cuda")

# define generation arguments
generation_kwargs = dict(
    do_sample=True,
    use_cache=True,
    max_new_tokens=500,
    temperature=0.3,
    top_p=0.9,
    top_k=40,
)

# finally, generate the output
outputs = model.generate(**inputs, **generation_kwargs)
output_ids = outputs[:, inputs["input_ids"].shape[1] :]
generated_texts = tokenizer.batch_decode(output_ids, skip_special_tokens=True)
has_function_calling, results = eval_function_calling(generated_texts[0])

# print the model response
if has_function_calling:
    for result in results:
        fn = result["function"]
        name, args = fn["name"], fn["arguments"]
        print(f"Calling {name!r} function with these arguments: {args}")
else:
    print(f"No function call: {results!r}")

出力結果

Calling 'get_weather' function with these arguments: {"location":"Paris, France"}

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。