Tucano 2b4

🚀 Tucano-2b4

Tucano は、ポルトガル語でネイティブに事前学習されたデコーダートランスフォーマーのシリーズです。すべてのTucanoモデルは、重複排除されたポルトガル語のテキストコーパスを連結した合計2000億トークンの GigaVerbo で学習されています。

こちら でプレプリントを読むことができます。

🚀 クイックスタート

モデル概要

Tucano は、ポルトガル語でネイティブに事前学習されたデコーダートランスフォーマーのシリーズです。すべてのTucanoモデルは、重複排除されたポルトガル語のテキストコーパスを連結した合計2000億トークンの GigaVerbo で学習されています。

詳細

このリポジトリには、このモデルを学習するために使用された [ソースコード](https://github.com/Nkluge - correa/Tucano) が含まれています。主に使用されるライブラリは以下の通りです。

• PyTorch
• Transformers
• Datasets
• Tokenizers
• Sentencepiece
• Accelerate
• [FlashAttention](https://github.com/Dao - AILab/flash - attention)
• [Liger Kernel](https://github.com/linkedin/Liger - Kernel)
• Codecarbon
• TRL

想定される用途

Tucanoモデルの主な用途は、ネイティブなポルトガル語の言語モデリングに関する研究と開発の基盤として機能することです。学習中に保存されたチェックポイントは、現在利用可能なベンチマークのパフォーマンスに対するアクティブ事前学習の影響に関して、比較実験を行うための制御された環境を提供するように設計されています。また、Apache 2.0ライセンスに従う限り、Tucanoモデルをファインチューニングしてデプロイに適用することもできます。Tucanoモデルをファインチューニングしたモデルの基礎として使用する場合は、独自のリスクとバイアス評価を行ってください。

想定外の用途

• Tucanoモデルは デプロイを目的としていません。これらは即座に使用できる製品ではなく、人間との対話に使用すべきではありません。
• Tucanoモデルは ポルトガル語専用 であり、他の言語のテキスト生成タスクには適していません。
• Tucanoモデルは 下流タスクに対してファインチューニングされていません。

✨ 主な機能

基本的な使用法

pipeline を使用する場合：

from transformers import pipeline

generator = pipeline("text-generation", model="TucanoBR/Tucano-2b4")

completions  = generator("A floresta da Amazônia é conhecida por sua", num_return_sequences=2, max_new_tokens=100)

for comp in completions:
  print(f"🤖 {comp['generated_text']}")

AutoTokenizer と AutoModelForCausalLM を使用する場合：

from transformers import GenerationConfig, TextGenerationPipeline, AutoTokenizer, AutoModelForCausalLM
import torch

# Specify the model and tokenizer
model_id = "TucanoBR/Tucano-2b4"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# Specify the generation parameters as you like
generation_config = GenerationConfig(
    **{
    "do_sample": True,
    "max_new_tokens": 2048,
    "renormalize_logits": True,
    "repetition_penalty": 1.2,
    "temperature": 0.1,
    "top_k": 50,
    "top_p": 1.0,
    "use_cache": True, 
  }
)

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
generator = TextGenerationPipeline(model=model, task="text-generation", tokenizer=tokenizer, device=device)

# Generate text
prompt = "A floresta da Amazônia é conhecida por sua"
completion = generator(prompt, generation_config=generation_config)
print(completion[0]['generated_text'])

制限事項

ウェブから収集された大規模なテキストデータセットで学習されたほとんどの言語モデルと同様に、Tucanoモデルは、多くの実世界のアプリケーション、特に事実的で信頼できる非毒性のテキスト生成を必要とするアプリケーションに対して、即座に解決策となるわけではありません。Tucanoモデルはすべて以下の問題に直面しています。

• 幻覚：Tucanoモデルは、真実の事実と誤認される可能性のある内容を生成することができますが、それは誤解を招くものであったり、完全に虚偽のものであったりします。
• バイアスと毒性：Tucanoモデルは、学習に使用されたデータから社会的および歴史的なステレオタイプを引き継いでいます。これらのバイアスにより、モデルは有害、攻撃的、または個人、グループ、またはコミュニティに損害を与えるような毒性のあるコンテンツを生成することがあります。
• 信頼できないコード：Tucanoモデルは誤ったコードスニペットやステートメントを生成する可能性があります。これらのコード生成は、提案や正確な解決策として扱われるべきではありません。
• 言語の制限：Tucanoモデルは主にポルトガル語との対話を目的として設計されています。他の言語はその理解を困難にし、誤解や応答のエラーにつながる可能性があります。
• 繰り返しと冗長性：Tucanoモデルは、繰り返しループに陥ることがあり（特に生成時の繰り返しペナルティが低い値に設定されている場合）、与えられたプロンプトと関係のない冗長な応答を生成することがあります。

したがって、当社のモデルは許容的なライセンスでリリースされていますが、実世界のアプリケーションで使用する場合は、ユーザーにリスク分析を行うことを強くお勧めします。

評価

以下の表は、私たちの研究で使用された評価ハーネスにおいて、いくつかのポルトガル語および多言語言語モデルと私たちのモデルを比較しています。詳細については、[こちら](https://github.com/Nkluge - correa/Tucano/tree/main/evaluations/README.md) を参照してください。評価ハーネスの選択について詳しく知りたい場合は、プレプリントを読んでください。

📚 ドキュメント

引用方法 🤗

@misc{correa2024tucanoadvancingneuraltext,
      title={{Tucano: Advancing Neural Text Generation for Portuguese}}, 
      author={Corr{\^e}a, Nicholas Kluge and Sen, Aniket and Falk, Sophia and Fatimah, Shiza},
      year={2024},
      eprint={2411.07854},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2411.07854}, 
}

謝辞

私たちは、[ボン大学](https://www.uni - bonn.de/en) がホストする [Marvinクラスタ](https://www.hpc.uni - bonn.de/en/systems/marvin) へのアクセス許可と、その高性能コンピューティング＆アナリティクスラボによるサポートに感謝しています。

📄 ライセンス

Tucanoは、Apache License, Version 2.0の下でライセンスされています。詳細については、LICENSE ファイルを参照してください。