Tucano 160m

🚀 Tucano-160m

Tucano は、ポルトガル語でネイティブに事前学習されたデコーダー・トランスフォーマーのシリーズです。すべてのTucanoモデルは、2000億トークンに相当する重複排除されたポルトガル語のテキストコーパスを結合した GigaVerbo で学習されました。

🚀 クイックスタート

モデルの概要

Tucano は、ポルトガル語でネイティブに事前学習されたデコーダー・トランスフォーマーのシリーズです。すべてのTucanoモデルは、2000億トークンに相当する重複排除されたポルトガル語のテキストコーパスを結合した GigaVerbo で学習されました。

プレプリントは こちら で読むことができます。

詳細情報

このリポジトリには、このモデルを学習するために使用された [ソースコード](https://github.com/Nkluge - correa/Tucano) があります。主に使用されるライブラリは以下の通りです。

• PyTorch
• Transformers
• Datasets
• Tokenizers
• Sentencepiece
• Accelerate
• [FlashAttention](https://github.com/Dao - AILab/flash - attention)
• [Liger Kernel](https://github.com/linkedin/Liger - Kernel)
• Codecarbon
• TRL

使用例

基本的な使用法

pipeline を使用する場合：

from transformers import pipeline

generator = pipeline("text-generation", model="TucanoBR/Tucano-160m")

completions  = generator("A floresta da Amazônia é conhecida por sua", num_return_sequences=2, max_new_tokens=100)

for comp in completions:
  print(f"🤖 {comp['generated_text']}")

AutoTokenizer と AutoModelForCausalLM を使用する場合：

from transformers import GenerationConfig, TextGenerationPipeline, AutoTokenizer, AutoModelForCausalLM
import torch

# Specify the model and tokenizer
model_id = "TucanoBR/Tucano-160m"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# Specify the generation parameters as you like
generation_config = GenerationConfig(
    **{
    "do_sample": True,
    "max_new_tokens": 2048,
    "renormalize_logits": True,
    "repetition_penalty": 1.2,
    "temperature": 0.1,
    "top_k": 50,
    "top_p": 1.0,
    "use_cache": True, 
  }
)

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
generator = TextGenerationPipeline(model=model, task="text-generation", tokenizer=tokenizer, device=device)

# Generate text
prompt = "A floresta da Amazônia é conhecida por sua"
completion = generator(prompt, generation_config=generation_config)
print(completion[0]['generated_text'])

想定される使用方法

Tucanoモデルの主な使用目的は、ネイティブなポルトガル語の言語モデリングに関する研究と開発の基盤として機能することです。学習中に保存されたチェックポイントは、現在利用可能なベンチマークのパフォーマンスに対するアクティブな事前学習の影響に関して、比較実験を行うための制御された環境を提供するように設計されています。また、あなたの使用がApache 2.0ライセンスに従う場合、Tucanoモデルを微調整してデプロイに適合させることもできます。Tucanoモデルを微調整モデルの基礎として使用することを決定した場合は、独自のリスクとバイアス評価を行ってください。

想定外の使用方法

• Tucanoモデルは デプロイを目的としていません。これらはそのままでは製品ではなく、人間との対話には使用しないでください。
• Tucanoモデルは ポルトガル語専用 であり、他の言語のテキスト生成タスクには適していません。
• Tucanoモデルは 下流タスクに対して微調整されていません。

制限事項

ウェブから収集された大規模なテキストデータセットで学習されたほとんどの言語モデルと同様に、Tucanoモデルは、多くの実世界のアプリケーション、特に事実的で信頼できる非毒性のテキスト生成を必要とするアプリケーションに対して、そのままでは解決策にならない動作を示します。Tucanoモデルはすべて以下の問題に直面しています。

• 幻覚現象：Tucanoモデルは、真実の事実と誤認される可能性のある内容を生成することがありますが、それは誤解を招くものであったり、完全に虚偽であったりします。
• バイアスと毒性：Tucanoモデルは、学習に使用されたデータから社会的および歴史的なステレオタイプを引き継いでいます。これらのバイアスにより、モデルは毒性のある内容、つまり個人、グループ、またはコミュニティに有害、不快、または損害を与える内容を生成する可能性があります。
• 信頼できないコード：Tucanoモデルは、誤ったコードスニペットやステートメントを生成することがあります。これらのコード生成は、提案や正確な解決策として扱われるべきではありません。
• 言語の制限：Tucanoモデルは主にポルトガル語との対話を目的として設計されています。他の言語はその理解を困難にする可能性があり、誤解や応答のエラーにつながる可能性があります。
• 繰り返しと冗長性：Tucanoモデルは、繰り返しループに陥ることがあり（特に生成時の繰り返しペナルティが非常に低い値に設定されている場合）、また与えられたプロンプトと関係のない冗長な応答を生成することがあります。

したがって、私たちのモデルは許容的なライセンスでリリースされていますが、実世界のアプリケーションで使用する場合は、ユーザーにリスク分析を行うことを強くお勧めします。

評価

以下の表は、私たちの研究で使用された評価ハーネスで、いくつかのポルトガル語および多言語の言語モデルと私たちのモデルを比較しています。詳細な情報は [こちら](https://github.com/Nkluge - correa/Tucano/tree/main/evaluations/README.md) で見ることができます。評価ハーネスの選択について詳しく知るには、プレプリントを読んでください。

引用方法 🤗

@misc{correa2024tucanoadvancingneuraltext,
      title={{Tucano: Advancing Neural Text Generation for Portuguese}}, 
      author={Corr{\^e}a, Nicholas Kluge and Sen, Aniket and Falk, Sophia and Fatimah, Shiza},
      year={2024},
      eprint={2411.07854},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2411.07854}, 
}

謝辞

私たちは、[ボン大学](https://www.uni - bonn.de/en) がホストする [Marvinクラスタ](https://www.hpc.uni - bonn.de/en/systems/marvin) へのアクセス許可と、その高性能コンピューティング＆分析ラボによるサポートに感謝しています。

📄 ライセンス

Tucanoは、Apache License, Version 2.0の下でライセンスされています。詳細については、LICENSE ファイルを参照してください。