Cuckoo C4 Rainbow

🚀 布谷鳥モデル（Cuckoo）🐦

布谷鳥モデル（Cuckoo）は、小型（3億パラメータ）の情報抽出（IE）モデルです。このモデルは、大規模言語モデルの次のトークン予測パラダイムを模倣しています。語彙表から検索するのではなく、Cuckooは与えられた入力コンテキスト内で次のトークンをマークすることで予測を行います。このモデルは、任意のテキストリソースを利用して自身の性能を向上させることができ、特に大規模言語モデル用に整理されたデータを活用して能力を強化することができます。

🚀 クイックスタート

現在、様々なデータセットで事前学習された布谷鳥モデルのチェックポイントをオープンソースで公開しています。

1. C4から変換された1億個の次のトークン抽出（NTE）インスタンス。（Cuckoo-C4 🐦）
2. Cuckoo-C4 + 教師あり微調整データセットTuluV3から変換された260万個の次のトークン抽出（NTE）インスタンス。（Cuckoo-C4-Instruct 🐦🛠️）
3. Cuckoo-C4-Instruct + MultiNERD、MetaIE、NuNER、MRQA（SQuAD、DROPを除く）。（Cuckoo-C4-Rainbow 🌈🐦🛠️）
4. Cuckoo-C4-Rainbow + 複数の固有表現認識（NER）データセット、WizardLMデータセット、多肢選択質問応答データセット、MMLU、SQuAD、DROP、MNLI、SNLI。（Cuckoo-C4-Super-Rainbow 🦸🌈🐦🛠️）

✨ 主な機能

• 予測パラダイムの模倣：大規模言語モデルの次のトークン予測パラダイムを模倣し、入力コンテキスト内で次のトークンをマークすることで予測を行います。
• データ利用の効率性：任意のテキストリソースを利用して自身を強化することができ、特に大規模言語モデル用に整理されたデータを活用できます。
• 多様なシナリオへの適応性：様々な情報抽出タスクで優れた性能を発揮し、少サンプル適応をサポートします。

📊 性能展示

以下は、布谷鳥モデルの様々なデータセットでの性能を他のモデルと比較した結果です。

💻 使用例

基本的な使用法

最強のスーパーレインボー布谷鳥モデル（Cuckoo-C4-Super-Rainbow）を使用してゼロサンプル抽出を行うことをおすすめします。以下は具体的な手順です。

1. モデルとトークナイザーの読み込み

from transformers import AutoModelForTokenClassification, AutoTokenizer
import torch
import spacy

nlp = spacy.load("en_core_web_sm")

device = torch.device("cuda:0")
path = f"KomeijiForce/Cuckoo-C4-Super-Rainbow"
tokenizer = AutoTokenizer.from_pretrained(path)
tagger = AutoModelForTokenClassification.from_pretrained(path).to(device)

2. 次のトークン抽出関数の定義

def next_tokens_extraction(text):

    def find_sequences(lst):
        sequences = []
        i = 0
        while i < len(lst):
            if lst[i] == 0:
                start = i
                end = i
                i += 1
                while i < len(lst) and lst[i] == 1:
                    end = i
                    i += 1
                sequences.append((start, end+1))
            else:
                i += 1
        return sequences

    text = " ".join([token.text for token in nlp(text)])

    inputs = tokenizer(text, return_tensors="pt").to(device)
    tag_predictions = tagger(**inputs).logits[0].argmax(-1)

    predictions = [tokenizer.decode(inputs.input_ids[0, seq[0]:seq[1]]).strip() for seq in find_sequences(tag_predictions)]
    
    return predictions

3. 関数の呼び出しによる抽出 以下は、異なるシナリオでの呼び出し例です。

• 基本的なエンティティと関係の理解

text = "Tom and Jack went to their trip in Paris."

for question in [
    "What is the person mentioned here?",
    "What is the city mentioned here?",
    "Who goes with Tom together?",
    "What do Tom and Jack go to Paris for?",
    "Where does George live in?",
]:
    prompt = f"User:\n\n{text}\n\nQuestion: {question}\n\nAssistant:"
    predictions = next_tokens_extraction(prompt)
    print(question, predictions)

• より長いコンテキストの処理

passage = f'''Ludwig van Beethoven (17 December 1770 – 26 March 1827) was a German composer and pianist. He is one of the most revered figures in the history of Western music; his works rank among the most performed of the classical music repertoire and span the transition from the Classical period to the Romantic era in classical music. His early period, during which he forged his craft, is typically considered to have lasted until 1802. From 1802 to around 1812, his middle period showed an individual development from the styles of Joseph Haydn and Wolfgang Amadeus Mozart, and is sometimes characterised as heroic. During this time, Beethoven began to grow increasingly deaf. In his late period, from 1812 to 1827, he extended his innovations in musical form and expression.'''

for question in [
    "What are the people mentioned here?",
    "What is the job of Beethoven?",
    "How famous is Beethoven?",
    "When did Beethoven's middle period showed an individual development?",
]:
    text = f"User:\n\n{passage}\n\nQuestion: {question}\n\nAssistant:"
    predictions = next_tokens_extraction(text)
    print(question, predictions)

• 知識質問応答

for obj in ["grass", "sea", "fire", "night"]:
    text = f"User:\n\nChoices:\nred\nblue\ngreen.\n\nQuestion: What is the color of the {obj}?\n\nAssistant:\n\nAnswer:"
    predictions = next_tokens_extraction(text)
    print(obj, predictions)

🎯 少サンプル適応

布谷鳥モデルは、自身のタスクに対する少サンプル適応で優れた性能を発揮します。以下はいくつかの例です。

• CoNLL2003を例とする：bash run_downstream.sh conll2003.5shot KomeijiForce/Cuckoo-C4-Rainbow を実行すると、models/cuckoo-conll2003.5shot に微調整されたモデルが生成されます。その後、python eval_conll2003.py スクリプトを使用してモデルのベンチマークテストを行うことができ、F1性能は約80になります。
• 機械読解（SQuAD）：bash run_downstream.sh squad.32shot KomeijiForce/Cuckoo-C4-Rainbow を実行すると、models/cuckoo-squad.32shot に微調整されたモデルが生成されます。その後、python eval_squad.py スクリプトを使用してモデルのベンチマークテストを行うことができ、F1性能は約88になります。

独自のタスクを微調整するには、{"words": [...], "ner": [...]} を含むJsonlinesファイルを作成する必要があります。例えば、

{"words": ["I", "am", "John", "Smith", ".", "Person", ":"], "ner": ["O", "O", "B", "I", "O", "O", "O"]}

独自の下流データセットを作成したら、my_downstream.json として保存し、bash run_downstream.sh my_downstream KomeijiForce/Cuckoo-C4-Rainbow コマンドを実行します。models/cuckoo-my_downstream に適応された布谷鳥モデルが見つかります。

🪽 独自の布谷鳥モデルの訓練

nte_data_collection.py ファイルには、テキストをNTEインスタンスに変換するスクリプトが含まれています。C4を例にすると、変換結果は cuckoo.c4.example.json で確認できます。このスクリプトは、エンティティ、クエリ、質問などの他のリソースにも簡単に適応できます。独自のデータをNTE形式に変更して、独自の布谷鳥モデルを訓練することができます！run_cuckoo.sh スクリプトを実行して、サンプルの事前学習を試してみてください。

python run_ner.py \
  --model_name_or_path roberta-large \
  --train_file cuckoo.c4.example.json \
  --output_dir models/cuckoo-c4-example \
  --per_device_train_batch_size 4\
  --gradient_accumulation_steps 16\
  --num_train_epochs 1\
  --save_steps 1000\
  --learning_rate 0.00001\
  --do_train \
  --overwrite_output_dir

models/cuckoo-c4-example にサンプルの布谷鳥モデルが生成されます。事前学習データが少ない場合、モデルの性能が低下する可能性があります。nte_data_collection.py のハイパーパラメータを調整するか、変換ロジックを変更して独自のリソースに適応させることで、より良い事前学習性能を得ることができます。

🐾 引用

@article{DBLP:journals/corr/abs-2502-11275,
  author       = {Letian Peng and
                  Zilong Wang and
                  Feng Yao and
                  Jingbo Shang},
  title        = {Cuckoo: An {IE} Free Rider Hatched by Massive Nutrition in {LLM}'s Nest},
  journal      = {CoRR},
  volume       = {abs/2502.11275},
  year         = {2025},
  url          = {https://doi.org/10.48550/arXiv.2502.11275},
  doi          = {10.48550/arXiv.2502.11275},
  eprinttype   = {arXiv},
  eprint       = {2502.11275},
  timestamp    = {Mon, 17 Feb 2025 19:32:20 +0000},
  biburl       = {https://dblp.org/rec/journals/corr/abs-2502-11275.bib},
  bibsource    = {dblp computer science bibliography, https://dblp.org}
}

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で提供されています。