Keyt5 Base

🚀 keyT5. Base (small) 版本

keyT5. Base (small) 版本是一款用於文本提取關鍵詞的模型，它能夠高效地從文本中提取關鍵信息，為信息處理和分析提供有力支持。

🚀 快速開始

安裝依賴

pip install transformers sentencepiece

使用示例

from itertools import groupby
import torch
from transformers import T5ForConditionalGeneration, T5Tokenizer
model_name = "0x7194633/keyt5-large" # 或 0x7194633/keyt5-base
tokenizer = T5Tokenizer.from_pretrained(model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name)

def generate(text, **kwargs):
    inputs = tokenizer(text, return_tensors='pt')
    with torch.no_grad():
        hypotheses = model.generate(**inputs, num_beams=5, **kwargs)
    s = tokenizer.decode(hypotheses[0], skip_special_tokens=True)
    s = s.replace('; ', ';').replace(' ;', ';').lower().split(';')[:-1]
    s = [el for el, _ in groupby(s)]
    return s

article = """Reuters сообщил об отмене 3,6 тыс. авиарейсов из-за «омикрона» и погоды
Наибольшее число отмен авиарейсов 2 января пришлось на американские авиакомпании 
SkyWest и Southwest, у каждой — более 400 отмененных рейсов. При этом среди 
отмененных 2 января авиарейсов — более 2,1 тыс. рейсов в США. Также свыше 6400 
рейсов были задержаны."""

print(generate(article, top_p=1.0, max_length=64))  
# ['авиаперевозки', 'отмена авиарейсов', 'отмена рейсов', 'отмена авиарейсов', 'отмена рейсов', 'отмена авиарейсов']

訓練模型

你可以通過以下鏈接訪問訓練筆記本，瞭解更多訓練相關信息：

✨ 主要特性

• 多語言支持：支持俄語等語言的關鍵詞提取。
• 靈活配置：可以通過調整參數（如top_p等）來優化關鍵詞提取效果。

📦 安裝指南

使用以下命令安裝必要的依賴庫：

pip install transformers sentencepiece

📚 詳細文檔

• 支持語言：俄語
• Github 倉庫：text2keywords
• 預訓練大版本：Pretraining Large version
• 預訓練基礎版本：Pretraining Base version

📄 許可證

本項目採用 MIT 許可證。

項目狀態

推理參數

示例