T5 Sentence To Triplet Xl

🚀 PEFT

這是一個用於文本到文本生成的模型，基於 google/flan-t5-xl 微調而來。它在 KELM 語料庫 上進行了微調，能夠接收句子並輸出 主語 - 關係 - 賓語 形式的三元組，可用於知識圖譜生成。

🚀 快速開始

本模型是 flan-t5-xl 的一個微調版本，在 KELM 語料庫 上進行訓練，能夠接收句子並輸出 主語 - 關係 - 賓語 形式的三元組，用於知識圖譜生成。

模型使用自定義標記來分隔三元組：

special_tokens = ['<triplet>', '</triplet>', '<relation>', '<object>']
tokenizer.add_tokens(special_tokens)

你可以按照以下方式使用該模型：

model = model.to(device)
model.eval()

new_input = "Hugging Face, Inc. is an American company that develops tools for building applications using machine learning.",
inputs = tokenizer(new_input, return_tensors="pt")

with torch.no_grad():
    outputs = model.generate(input_ids=inputs["input_ids"].to("cuda"))
    print(tokenizer.batch_decode(outputs.detach().cpu().numpy(), skip_special_tokens=False)[0])

輸出結果：<pad><triplet> Hugging Face <relation> instance of <object> Business </triplet></s>

需要注意的是，這個模型目前還並不完美，可能會出現錯誤！作者正在努力對其進行更長時間的微調，並使用更多樣化的數據集。

💻 使用示例

基礎用法

# 模型使用自定義標記來分隔三元組
special_tokens = ['<triplet>', '</triplet>', '<relation>', '<object>']
tokenizer.add_tokens(special_tokens)

高級用法

# 模型推理示例
model = model.to(device)
model.eval()

new_input = "Hugging Face, Inc. is an American company that develops tools for building applications using machine learning.",
inputs = tokenizer(new_input, return_tensors="pt")

with torch.no_grad():
    outputs = model.generate(input_ids=inputs["input_ids"].to("cuda"))
    print(tokenizer.batch_decode(outputs.detach().cpu().numpy(), skip_special_tokens=False)[0])

📄 許可證

本項目採用 Apache-2.0 許可證。