Gervasio 8b Portuguese Ptpt Decoder

🚀 Gervásio 8B PTPT

このモデルは、ポルトガル語用のオープンなデコーダーです。LLaMAファミリーのデコーダーで、Transformerニューラルアーキテクチャに基づき、LLaMA 3.1 8B Instructモデルをベースに開発されています。

🚀 クイックスタート

このモデルは、チャットボット Evaristo.ai に統合されており、GUIを通じて即座に生成能力を試すことができます。

✨ 主な機能

• ポルトガル語用のオープンなデコーダーです。
• LLaMAファミリーのデコーダーで、Transformerニューラルアーキテクチャに基づいています。
• 追加のトレーニングにより、ポルトガル語のデータセットを含む言語リソースを使用して改善されています。
• オープンライセンスの下で無料で公開されており、研究や商用目的にも使用できます。
• コンシューマーグレードのハードウェアで実行可能です。

📦 インストール

このモデルは、因果言語モデリングのパイプラインで直接使用できます。

>>> from transformers import pipeline
>>> generator = pipeline(model='PORTULAN/gervasio-8b-portuguese-ptpt-decoder')
>>> generator("A comida portuguesa é", max_new_tokens=10)

📚 ドキュメント

モデルの説明

このモデルは、32層にわたる80億個のパラメータを持ち、隠れ層のサイズは4096、中間層のサイズは14336、アテンションヘッドは32個です。語彙サイズが128256のRoPEトークナイザーを使用しています。

トレーニングデータ

Gervásio 8B PTPT は、ヨーロッパポルトガル語のネイティブデータセットまたはヨーロッパポルトガル語に翻訳された様々なデータセットでトレーニングされています。後者の場合、ヨーロッパポルトガル語への翻訳結果が目的言語での言語特性を保持できるデータセットのみを選択しています。

トレーニングデータには以下が含まれます。

• extraGLUE-Instruct
• MMLU PT（多肢選択式の質問応答）
• Natural Instructionsのサブセット（主に多肢選択式の質問応答タスク）
• 手動で選り分けたWikipediaのサブセット
• 手動で選り分けたことわざのリスト

トレーニングの詳細

微調整プロセス中にゼロアウト技術を用いて、因果言語モデリングのトレーニング目的で教師あり微調整を適用しました。具体的には、微調整中にプロンプトとチャットテンプレート全体にアテンションが向けられましたが、逆伝播は応答トークンのみに適用されました。

トレーニングを加速するために、10台のL40S GPUでFully Sharded Data Parallel (FSDP) パラダイムを使用しました。

性能

テストには、標準ベンチマークのGPQA Diamond、MMLU、MMLU Proの翻訳データセット、および extraGLUE のCoPA、MRPC、RTEデータセットを使用しています。

🔧 技術詳細

このモデルは、Transformerニューラルアーキテクチャに基づいており、LLaMA 3.1 8B Instructモデルをベースに開発されています。追加のトレーニングにより、ポルトガル語のデータセットを含む言語リソースを使用して改善されています。

📄 ライセンス

このモデルは、MITライセンスの下で公開されています。

引用

@misc{gervasio,
      title={Advancing Generative AI for Portuguese with
             Open Decoder Gervásio PT-*}, 
      author={Rodrigo Santos, João Silva, Luís Gomes,
              João Rodrigues, António Branco},
      year={2024},
      eprint={2402.18766},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

このモデルを使用または引用する際には、上記の正規の参考文献を使用してください。

謝辞

ここで報告されている研究は、以下の支援を受けています。

• PORTULAN CLARIN—言語科学技術の研究インフラストラクチャ。Lisboa 2020、Alentejo 2020、FCT—Fundação para a Ciência e Tecnologiaにより、PINFRA/22117/2016の助成金で資金提供されています。
• イノベーションプロジェクトACCELERAT.AI - 多言語インテリジェントコンタクトセンター。IAPMEI, I.P. - Agência para a Competitividade e Inovação I.P.により、Plano de Recuperação e ResiliênciaのC625734525-00462629の助成金で資金提供されています。
• 研究プロジェクト "Hey, Hal, curb your hallucination! / Enhancing AI chatbots with enhanced RAG solutions"。FCT-Fundação para a Ciência e a Tecnologiaにより、2024.07592.IACDCの助成金で資金提供されています。
• プロジェクト "CLARIN – Infraestrutura de Investigação para a Ciência e Tecnologia da Linguagem"。Lisboa2030プログラムにより、LISBOA2030-FEDER-01316900PORTULANの助成金で資金提供されています。