Instafoodroberta NER

🚀 InstaFoodRoBERTa-NER

InstaFoodRoBERTa-NER は、ソーシャルメディア上の食品エンティティの 固有表現抽出（Named Entity Recognition） に使用できる、ファインチューニングされたBERTモデルです。このモデルは、インフォーマルなテキスト（例：Instagram、X、Reddit）における食品エンティティの抽出に特化しています。このモデルは、単一のエンティティである食品（FOOD）を認識するように訓練されています。

具体的には、このモデルは roberta-base モデルを、食品に関連する400件の英語のInstagram投稿からなるデータセットでファインチューニングしたものです。データセット はオープンソースです。

🚀 クイックスタート

モデルの使用方法

このモデルは、Transformersの pipeline を使用して固有表現抽出（NER）に利用できます。

基本的な使用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("Dizex/InstaFoodRoBERTa-NER")
model = AutoModelForTokenClassification.from_pretrained("Dizex/InstaFoodRoBERTa-NER")

pipe = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Today's meal: Fresh olive poké bowl topped with chia seeds. Very delicious!"

ner_entity_results = pipe(example, aggregation_strategy="simple")
print(ner_entity_results)

高度な使用法

抽出された食品エンティティを文字列として取得するには、以下のコードを使用できます。

def convert_entities_to_list(text, entities: list[dict]) -> list[str]:
        ents = []
        for ent in entities:
            e = {"start": ent["start"], "end": ent["end"], "label": ent["entity_group"]}
            if ents and -1 <= ent["start"] - ents[-1]["end"] <= 1 and ents[-1]["label"] == e["label"]:
                ents[-1]["end"] = e["end"]
                continue
            ents.append(e)

        return [text[e["start"]:e["end"]] for e in ents]

print(convert_entities_to_list(example, ner_entity_results))

このコードの出力は以下のようになります。

['olive poké bowl', 'chia seeds']

📚 ドキュメント

想定される用途

このモデルは、ソーシャルメディア上のインフォーマルなテキストから食品エンティティを抽出するために使用できます。

パフォーマンス

InstaFoodSet データセットにおけるモデルのパフォーマンスは以下の通りです。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。