🚀 土耳其语功能调用模型
本项目基于ytu-ce-cosmos/Turkish-Llama-8b-DPO-v0.1
模型,在atasoglu/turkish-function-calling-20k
数据集上进行微调,以实现土耳其语的功能调用任务。
🚀 快速开始
模型信息
属性 |
详情 |
基础模型 |
ytu-ce-cosmos/Turkish-Llama-8b-DPO-v0.1 |
标签 |
text-generation-inference、transformers、unsloth、llama、trl、sft |
许可证 |
apache-2.0 |
支持语言 |
英语、土耳其语 |
训练数据集 |
atasoglu/turkish-function-calling-20k |
任务类型 |
文本生成 |
开发信息
- 开发者:atasoglu
- 许可证:apache-2.0
- 微调基础模型:ytu-ce-cosmos/Turkish-Llama-8b-DPO-v0.1
该Llama模型使用Unsloth和Huggingface的TRL库进行训练,训练速度提升了2倍。

💻 使用示例
基础用法
首先,加载模型:
import json
from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
model_name="atasoglu/Turkish-Llama-3-8B-function-calling",
load_in_4bit=True,
)
FastLanguageModel.for_inference(model)
设置工具和消息:
system_prompt = """Sen yardımsever, akıllı ve fonksiyon çağrısı yapabilen bir asistansın.
Aşağıda JSON parçası içinde verilen fonksiyonları kullanarak kullanıcının sorusunu uygun şekilde cevaplamanı istiyorum.
Fonksiyon çağrısı yaparken uyman gereken talimatlar:
* Fonksiyonlar, JSON şeması olarak ifade edilmiştir.
* Eğer kullanıcının sorusu, bu fonksiyonlardan en az biri kullanılarak cevaplanabiliyorsa; uygun bir fonksiyon çağrısını JSON parçası içinde oluştur.
* Fonksiyonların parametreleri için asla uydurmalar yapma ve sadece kullanıcının verdiği bilgileri kullan.
* Eğer kullanıcının sorusu herhangi bir fonksiyon ile cevaplanamıyorsa, sadece "Verilen fonksiyonlarla cevaplanamaz" metnini döndür ve başka bir açıklama yapma.
Bu talimatlara uyarak soruları cevaplandır."""
user_prompt = """### Fonksiyonlar
'''json
{tools}
'''
### Soru
{query}"""
tools = [
{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get current temperature for a given location.",
"parameters": {
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "City and country e.g. Bogotá, Colombia",
}
},
"required": ["location"],
"additionalProperties": False,
},
"strict": True,
},
}
]
query = "Paris'te hava şu anda nasıl?"
messages = [
{
"role": "system",
"content": system_prompt,
},
{
"role": "user",
"content": user_prompt.format(
tools=json.dumps(tools, ensure_ascii=False),
query=query,
),
},
]
⚠️ 重要提示
在运行前,请将用户提示中的单引号字符更改为反引号,以指定JSON代码段。
然后,生成并评估输出:
import re
def eval_function_calling(text):
match_ = re.search(r"```json(.*)```", text, re.DOTALL)
if match_ is None:
return False, text
return True, json.loads(match_.group(1).strip())
inputs = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt",
).to("cuda")
generation_kwargs = dict(
do_sample=True,
use_cache=True,
max_new_tokens=500,
temperature=0.3,
top_p=0.9,
top_k=40,
)
outputs = model.generate(**inputs, **generation_kwargs)
output_ids = outputs[:, inputs["input_ids"].shape[1] :]
generated_texts = tokenizer.batch_decode(output_ids, skip_special_tokens=True)
has_function_calling, results = eval_function_calling(generated_texts[0])
if has_function_calling:
for result in results:
fn = result["function"]
name, args = fn["name"], fn["arguments"]
print(f"Calling {name!r} function with these arguments: {args}")
else:
print(f"No function call: {results!r}")
输出示例
Calling 'get_weather' function with these arguments: {"location":"Paris, France"}