Bart Tl Ng

🚀 MyModel

MyModel（BART-TL-ng）は、トピックラベル生成に特化したモデルです。このモデルは、これまでの手法とは異なり、ラベルプールから選択するのではなく、生成的なアプローチを用いてトピックラベルタスクを解決します。論文に記載された方法に基づいて訓練されており、複数のバージョンが利用可能です。

🚀 クイックスタート

このモデルは、生成的な方法を用いてトピックラベルタスクを解決することを目的としており、これまでの最先端の手法のようにラベルプールから選択するのではありません。ここでカバーされていない詳細情報を知りたい場合は、論文を読むか、オープンソースの実装を参照してください：BART-TL-topic-label-generation。

論文では2つのモデルが提供されています：

• BART-TL-all
• BART-TL-ng

✨ 主な機能

• 生成的アプローチ：トピックラベルタスクを解決するために生成的な方法を採用しており、従来のラベルプールからの選択方式とは異なります。
• 弱教師付き微調整：Facebookの大型BARTモデルをベースに弱教師付きで微調整されています。

📦 インストール

このモデルを使用する前に、transformersライブラリをインストールする必要があります。以下のコマンドを使用してインストールできます：

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

mname = "cristian-popa/bart-tl-ng"
tokenizer = AutoTokenizer.from_pretrained(mname)
model = AutoModelForSeq2SeqLM.from_pretrained(mname)

input = "site web google search website online internet social content user"
enc = tokenizer(input, return_tensors="pt", truncation=True, padding="max_length", max_length=128)
outputs = model.generate(
    input_ids=enc.input_ids,
    attention_mask=enc.attention_mask,
    max_length=15,
    min_length=1,
    do_sample=False,
    num_beams=25,
    length_penalty=1.0,
    repetition_penalty=1.5
)

decoded = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(decoded) # windows live messenger

高度な使用法

モデルに入力するトピックは、空白で区切られた単語列で表す必要があります。このようなトピックは、モデルの微調整データセットを収集する際に行ったように、LDAを使用して生成することができます。

📚 ドキュメント

想定される用途

モデルの入力は、空白で区切られた単語列で表されるトピックです。このようなトピックは、LDAを使用して生成することができます。

制限事項とバイアス

モデルは、微調整したドメインと無関係なトピック（例えば、美食分野）に対しては、正確なラベルを生成できない可能性があります。

訓練データ

モデルは、5つの異なるStackExchangeコーパス（英語、生物学、経済学、法律、写真）で微調整されています。各コーパスからLDAを使用して100個のトピックを抽出し、一貫性のフィルタリングを行った後、最終的なモデルの訓練に使用されます。

訓練プロセス

大型のFacebook BARTモデルは、弱教師付きで微調整されており、NETL方法の教師なし候補選択とトピック内のn-gramを利用しています。データセットは、トピックからラベルへの1対多のマッピングです。より詳細な訓練とパラメータの情報は、論文またはこのノートブックを参照してください。

評価結果

BibTeX引用と引用情報

@inproceedings{popa-rebedea-2021-bart,
    title = "{BART}-{TL}: Weakly-Supervised Topic Label Generation",
    author = "Popa, Cristian  and
      Rebedea, Traian",
    booktitle = "Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume",
    month = apr,
    year = "2021",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2021.eacl-main.121",
    pages = "1418--1425",
    abstract = "We propose a novel solution for assigning labels to topic models by using multiple weak labelers. The method leverages generative transformers to learn accurate representations of the most important topic terms and candidate labels. This is achieved by fine-tuning pre-trained BART models on a large number of potential labels generated by state of the art non-neural models for topic labeling, enriched with different techniques. The proposed BART-TL model is able to generate valuable and novel labels in a weakly-supervised manner and can be improved by adding other weak labelers or distant supervision on similar tasks.",
}

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で提供されています。