Randeng T5 784M MultiTask Chinese

🚀 燃燈-T5-784M-多任務-中文模型

燃燈-T5-784M-多任務-中文模型基於Text2Text統一範式，在約100箇中文數據集上進行有監督任務預訓練。該模型在中文zero-shot榜單ZeroClue上取得了第三名（不包括人類）的成績，在所有基於T5（encoder-decoder架構）的模型中排名第一。

🚀 快速開始

模型主頁與代碼倉庫

• 主頁面：封神榜
• GitHub倉庫：Fengshenbang-LM

模型使用示例

以下是使用該模型進行新聞分類的示例代碼：

import torch
from transformers import T5Tokenizer, T5Config, T5ForConditionalGeneration

# load tokenizer and model 
pretrained_model = "IDEA-CCNL/Randeng-T5-784M-MultiTask-Chinese"

special_tokens = ["<extra_id_{}>".format(i) for i in range(100)]
tokenizer = T5Tokenizer.from_pretrained(
    pretrained_model,
    do_lower_case=True,
    max_length=512,
    truncation=True,
    additional_special_tokens=special_tokens,
)
config = T5Config.from_pretrained(pretrained_model)
model = T5ForConditionalGeneration.from_pretrained(pretrained_model, config=config)
model.resize_token_embeddings(len(tokenizer))
model.eval()

# tokenize
text = "新聞分類任務：【微軟披露拓撲量子計算機計劃！】這篇文章的類別是什麼？故事/文化/娛樂/體育/財經/房產/汽車/教育/科技"
encode_dict = tokenizer(text, max_length=512, padding='max_length',truncation=True)

inputs = {
  "input_ids": torch.tensor([encode_dict['input_ids']]).long(),
  "attention_mask": torch.tensor([encode_dict['attention_mask']]).long(),
  }

# generate answer
logits = model.generate(
  input_ids = inputs['input_ids'],
  max_length=100, 
  do_sample= True
  # early_stopping=True,
  )

logits=logits[:,1:]
predict_label = [tokenizer.decode(i,skip_special_tokens=True) for i in logits]
print(predict_label)

# model output: 科技

除了分類任務，其他任務的數據構造例子如下：

example_dict={
    "文本分類":{"text_a":"鋼琴塊3別踩白塊兒3鋼琴塊3是一款簡潔的鋼琴模擬軟件,在Android平臺上,類似的軟件還是比較多的。","choices":["相機","影視娛樂","棋牌中心","新聞","財經","策略","休閒益智","教育"]},
    '新聞分類':{"text_a":"微軟披露拓撲量子計算機計劃！","choices":["故事","文化","娛樂","體育","財經","房產","汽車","教育","科技"]},
    '情感分析':{"text_a":"剛買iphone13 pro 還不到一個月，天天死機最差的一次購物體驗","choices":["好評","差評"]},
    '意圖識別':{"text_a":"打電話給吳小軍。","choices":["放音樂","播放下一首","打電話","退出導航","開始導航","其他","暫停音樂","導航","開導航"]},

    '語義匹配':{"text_a":"今天心情不好","text_b":"我很不開心","choices":["相似","不相似"]},
    '自然語言推理':{"text_a":"小明正在上高中","text_b":"小明是一個初中生","choices":["無關","矛盾","蘊含"]},

    '多項選擇':{"text_a":"這大家千萬不能著急，我們現在只是暫時輸了7分。距離比賽結束還有20多分鐘呢，我們是完全有機會轉敗為贏的，大家加油!","question":"說話人希望大家：","choices":["別得意","冷靜一些","加快速度","提前預習"]},
    '指代消解':{"text_a":"李鳴覺得董客這人，踏實得叫人難受。可因為孟野和森森太瘋，他只好去找董客聊天，但在董客眼裡，李鳴也是不正常，他竟然放著現成的大學不願上。","question":"【他】指的是【李鳴】嗎？","choices":["是","不是"]},

    '實體識別':{"text_a":"北京大學是我國的一座歷史名校，坐落在海淀區，蔡元培曾經擔任校長","question":"機構"},
    '抽取式閱讀理解':{"text_a":"《H》正式定檔3月7日下午兩點整在京東商城獨家平臺開啟第一批5000份預售,定價230元人民幣,回饋最忠實的火星歌迷,意在用精品回饋三年來跟隨華晨宇音樂不離不棄的粉絲們的支持與厚愛","question":"華晨宇專輯h預售價格是多少？"},
    '關鍵詞抽取':{"text_a":"今兒在大眾點評，找到了口碑不錯的老茶故事私房菜。"},
    '關鍵詞識別':{"text_a":"今兒在大眾點評，找到了口碑不錯的老茶故事私房菜。","question":"請問這篇文章的關鍵詞是大眾點評、老茶私房菜嗎？","choices":["是","不是"]},

    "生成式摘要":{"text_a":"針對傳統的流量分類管理系統存在不穩定、結果反饋不及時、分類結果顯示不直觀等問題,設計一個基於web的在線的流量分類管理系統.該系統採用流中前5個包(排除3次握手包)所含信息作為特徵值計算資源,集成一種或多種分類算法用於在線網絡流量分類,應用數據可視化技術處理分類結果.實驗表明:在採用適應在線分類的特徵集和c4.5決策樹算法做分類時,系統能快速做出分類,且精度達到94％以上;數據可視化有助於人機交互,改善分類指導."}
}

# 構造prompt的過程中，verbalizer這個佔位key的內容，是通過 "/".join(choices) 拼接起來
dataset2instruction = {
    "情感分析": {
        "prompt": "{}任務：【{}】這篇文章的情感態度是什麼？{}",
        "keys_order": ["subtask_type","text_a", "verbalizer"],
        "data_type": "classification",
    },
    "文本分類": {
        "prompt": "{}任務：【{}】這篇文章的類別是什麼？{}",
        "keys_order": ["subtask_type","text_a", "verbalizer"],
        "data_type": "classification",
    },
    "新聞分類": {
        "prompt": "{}任務：【{}】這篇文章的類別是什麼？{}",
        "keys_order": ["subtask_type","text_a", "verbalizer"],
        "data_type": "classification",
    },
    "意圖識別": {
        "prompt": "{}任務：【{}】這句話的意圖是什麼？{}",
        "keys_order": ["subtask_type","text_a", "verbalizer"],
        "data_type": "classification",
    },
    # --------------------
    "自然語言推理": {
        "prompt": "{}任務：【{}】和【{}】，以上兩句話的邏輯關係是什麼？{}",
        "keys_order": ["subtask_type","text_a", "text_b", "verbalizer"],
        "data_type": "classification",
    },
    "語義匹配": {
        "prompt": "{}任務：【{}】和【{}】，以上兩句話的內容是否相似？{}",
        "keys_order": ["subtask_type","text_a", "text_b", "verbalizer"],
        "data_type": "classification",
    },
    # -----------------------
    "指代消解": {
        "prompt": "{}任務：文章【{}】中{}{}",
        "keys_order": ["subtask_type","text_a", "question", "verbalizer"],
        "data_type": "classification",
    },
    "多項選擇": {
        "prompt": "{}任務：閱讀文章【{}】問題【{}】？{}",
        "keys_order": ["subtask_type","text_a", "question", "verbalizer"],
        "data_type": "classification",
    },
    # ------------------------
    "抽取式閱讀理解": {
        "prompt": "{}任務：閱讀文章【{}】問題【{}】的答案是什麼？",
        "keys_order": ["subtask_type","text_a", "question"],
        "data_type": "mrc",
    },
    "實體識別": {
        "prompt": "{}任務：找出【{}】這篇文章中所有【{}】類型的實體？",
        "keys_order": ["subtask_type","text_a", "question"],
        "data_type": "ner",
    },
    # ------------------------
    "關鍵詞抽取": {
        "prompt": "{}任務：【{}】這篇文章的關鍵詞是什麼？",
        "keys_order": ["subtask_type","text_a"],
        "data_type": "keys",
    },
    "關鍵詞識別":{
        "prompt": "{}任務：閱讀文章【{}】問題【{}】{}",
        "keys_order": ["subtask_type","text_a","question","verbalizer"],
        "data_type": "classification",
    },
    "生成式摘要": {
        "prompt": "{}任務：【{}】這篇文章的摘要是什麼？",
        "keys_order": ["subtask_type","text_a"],
        "data_type": "summ",
    }, 
}

def get_instruction(sample):

    template = dataset2instruction[sample["subtask_type"]]
    # print(template)
    # print(sample)
    sample["instruction"] = template["prompt"].format(*[
                sample[k] for k in template["keys_order"]
            ])

    print(sample["instruction"])
    
    return sample["instruction"]

預訓練與微調

如果您對於怎麼預訓練Randeng-T5模型或者想在自己的下游任務中微調Randeng模型，歡迎使用Fengshenbang-LM項目，這裡提供了完整的示例：

• 預訓練
• 微調

✨ 主要特性

• 基於Text2Text統一範式，在約100箇中文數據集上進行有監督任務預訓練。
• 在中文zero-shot榜單ZeroClue上取得了第三名（不包括人類）的成績，在所有基於T5（encoder-decoder架構）的模型中排名第一。
• 支持多種自然語言處理任務，如情感分析、新聞分類、文本分類、意圖識別等。

📦 安裝指南

文檔未提及安裝步驟，可參考Fengshenbang-LM項目獲取相關信息。

📚 詳細文檔

模型分類

模型信息

參考論文：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

基於Randeng-T5-784M，我們在收集的100+箇中文領域的多任務數據集（從中採樣了30w+個樣本）上微調了它，得到了此多任務版本。這些多任務包括：情感分析，新聞分類，文本分類，意圖識別，自然語言推理，多項選擇，指代消解，抽取式閱讀理解，實體識別，關鍵詞抽取，生成式摘要。

🔧 技術細節

本模型在中文zero-shot榜單ZeroClue上的表現：

📄 許可證

本模型使用Apache-2.0許可證。

📚 引用

如果您在您的工作中使用了我們的模型，可以引用我們的論文：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我們的網站：

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}