Ner Disease Ncbi Bionlp Bc5cdr Pubmed

🚀 用於查找基因及基因產物的命名實體識別模型

本模型旨在通過命名實體識別（NER）技術，精準識別文本中的基因及基因產物。它在特定數據集上進行訓練，為生物信息學領域的文本分析提供了強大的支持。

模型關鍵信息

標籤信息

所有可能的標籤及對應的 token 類別如下：

{"label2id": {
    "O": 0,
    "Disease":1
  }
 }

⚠️ 重要提示

我們從數據標籤中移除了 'B -'、'I -' 等前綴。

🚀 快速開始

模型使用模板

以下是使用該模型的示例代碼：

from transformers import pipeline
PRETRAINED = "raynardj/ner-disease-ncbi-bionlp-bc5cdr-pubmed"
ner = pipeline(task="ner",model=PRETRAINED, tokenizer=PRETRAINED)
ner("Your text", aggregation_strategy="first")

優化輸出結果

為了讓輸出結果更加連貫，可使用以下代碼：

import pandas as pd
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(PRETRAINED)
def clean_output(outputs):
    results = []
    current = []
    last_idx = 0
    # make to sub group by position
    for output in outputs:
        if output["index"]-1==last_idx:
            current.append(output)
        else:
            results.append(current)
            current = [output, ]
        last_idx = output["index"]
    if len(current)>0:
        results.append(current)
    
    # from tokens to string
    strings = []
    for c in results:
        tokens = []
        starts = []
        ends = []
        for o in c:
            tokens.append(o['word'])
            starts.append(o['start'])
            ends.append(o['end'])
        new_str = tokenizer.convert_tokens_to_string(tokens)
        if new_str!='':
            strings.append(dict(
                word=new_str,
                start = min(starts),
                end = max(ends),
                entity = c[0]['entity']
            ))
    return strings
def entity_table(pipeline, **pipeline_kw):
    if "aggregation_strategy" not in pipeline_kw:
        pipeline_kw["aggregation_strategy"] = "first"
    def create_table(text):
        return pd.DataFrame(
            clean_output(
                pipeline(text, **pipeline_kw)
            )
        )
    return create_table
# will return a dataframe
entity_table(ner)(YOUR_VERY_CONTENTFUL_TEXT)

相關模型鏈接

• 基因及基因產物識別模型
• 化學物質識別模型
• 疾病識別模型