Velvet 2B

🚀 Velvet-2B大規模言語モデル

Velvetは、密集アーキテクチャを採用した、ゼロから開発されたイタリアの大型言語モデルファミリーです。このモデルは、CINECAが管理するHPC Leonardoインフラストラクチャ上で、大量にフィルタリングされた公開データを使用して訓練されています。

🚀 クイックスタート

Velvet-2Bは、AIシステムやアプリケーションに組み込むために設計された大型言語モデルです。テキスト入力を処理し、テキスト出力を生成することができ、テキスト生成、分類、要約、質問応答など、様々な自然言語処理タスクに適しています。

✨ 主な機能

• 多言語対応：イタリア語と英語の2つの言語で訓練されており、複数の言語のテキストを処理できます。
• 効率的なアーキテクチャ：Transformerベースの因果デコーダアーキテクチャを採用し、グループ化クエリアテンション（GQA）と回転位置埋め込み（RoPE）を組み合わせることで、効率と性能を向上させています。
• 広範な訓練データ：近3兆個のトークンを含む公開データを使用して訓練されており、複数の言語やトピックをカバーしています。
• 安全で信頼性が高い：全面的な安全評価と敵対的テストを実施し、リスクとバイアスを減らすためのさまざまな対策を講じています。

📦 インストール

このモデルは、以下のフレームワークと一緒に使用できます。

• vllm
• transformers
• ollama

📚 ドキュメント

モデルの詳細

モデルのアーキテクチャと訓練

Velvetモデルファミリーには、20億と140億のパラメータを持つ2つの規模があり、それぞれVelvet-2BとVelvet-14Bです。 Velvet-2Bは20億パラメータの命令モデルで、Velvet-2B-baseをベースに微調整されており、オープンソースの命令データセットと内部で収集した合成データセットを使用して、テキスト「命令」に基づく問題を解決するように訓練されています。

アーキテクチャ

• Transformerベースの自己回帰型言語モデルで、因果デコーダ設計を採用しています。
• 28個のTransformer層。
• MLP中間層のサイズは8192。
• グループ化クエリアテンション（GQA）：32個のクエリヘッドと8個のキーバリューヘッドで、効率を向上させています。
• 回転位置埋め込み（RoPE）。
• SiLU活性化関数とRMSNorm方法を使用しています。
• 訓練シーケンス長は4Kトークンで、コンテキスト長は最大32Kトークンをサポートしています。
• 語彙サイズは12.7万で、言語の多様性に対応しています。
• 訓練段階：事前訓練と事後訓練

状態

これはオフラインデータセットを使用して訓練された静的モデルです。コミュニティからのフィードバックを元にモデルの安全性を改善していくにつれて、将来的に微調整されたモデルの新バージョンがリリースされる予定です。Almawaveは、Velvetモデルの将来のバージョンのアライメントとロバスト性を向上させるための戦略を積極的に策定しています。

対応言語

Velvet-2Bは、イタリア語と英語の2つの言語で訓練されています。高品質な多言語性能を確保するために、訓練データセットは慎重に選別され、言語表現のバランスを取り、過学習バイアスを減らしています。

想定用途

Velvet-2Bは、AIシステムやアプリケーションに組み込むことを目的としています。その潜在的な用途には、テキスト生成、分類、要約、質問応答などが含まれます。ただし、特定のアプリケーションでは、さらなるモデル調整や追加の安全対策が必要になる場合があり、不適切な行動や出力を防ぐことが重要です。

機能

• 要約生成
• 情報抽出
• 検索強化生成（RAG）
• 言い換え
• テキスト含意
• 自然言語推論
• 常識推論
• テキスト分類
• 機械翻訳
• 質問応答
• テキスト補完

訓練データ

概要

このモデルは、近3兆個のトークンを含む公開データで事前訓練されています。これらのデータは様々なソースから収集され、さまざまなウェブテキストが含まれており、豊富な言語スタイル、トピック、語彙に触れることができます。訓練データセットは、複数の言語でバランスの取れた表現を持っています。 微調整データには、公開されている命令データセットと、監督微調整（SFT）に使用される100万を超える人工ラベル付きおよび合成の例が含まれています。さらに、安全命令に使用される5万を超える人工生成の例も使用しています。事前訓練と微調整のデータセットには、Almawaveの顧客データは含まれていません。 応答の事実的な正確性を向上させるために多くの努力を払っていますが、大規模言語モデルの応答を検証するために、外部の事実データ（検索強化生成など）を使用することを常におすすめします。

データの時効性

2つの異なるモデルの事前訓練データの締め切り時期は、2024年8月から2024年10月の間です。

評価

イタリア語

英語

責任と安全

大規模言語モデルは、幅広いアプリケーションに役立つ汎用技術です。しかし、それらはすべての開発者の安全要件をそのまま満たすわけではなく、これらの要件は具体的なユースケースやアプリケーションシナリオによって異なります。

安全

私たちの命令訓練モデルについては、全面的なテストを実施し、内部および外部の敵対的評価を行い、リスクを軽減するための緩和策を講じています。これらのテストは、モデルの限界と潜在能力を徹底的に調査し、不適切な行動が発生する可能性のある現実的および仮想的なシナリオをシミュレートすることを目的としています。 しかし、これらの努力にもかかわらず、残留リスクが不可避的に存在します。なぜなら、すべての大規模言語モデルには完全に排除できない内在的な複雑さがあるからです。 したがって、開発者は適切な安全対策を実施し、デューデリジェンスを行い、彼らの製品ポリシーとアプリケーションの具体的な要件に合わせてこれらの保障措置をカスタマイズすることをおすすめします。 モデルの有用性とアライメントの間にはいくつかのトレードオフが存在する可能性があります。開発者は、彼らの特定のアプリケーションとユーザーに対して、アライメントと有用性のメリットを慎重にバランスさせる必要があります。また、Velvetモデルを使用する際には残留リスクを認識し、必要に応じて追加の安全ツールを利用して、彼らのユースケースに適した安全基準を達成する必要があります。 私たちは、開発者が彼らの特定のユースケースの文脈でリスクを慎重に評価することをおすすめします。彼らは、モデルがそのアプリケーションで失敗した場合の潜在的な影響を考慮し、そのような状況に対処するための適切な措置を講じる必要があります。 同時に、私たちは科学界と産業界と協力して、透明性が高く、厳格で、解釈可能なAI安全基準を確立しています。その目標は、大規模言語モデルに関連するリスクのより良い理解を促進し、より安全で責任あるソリューションの開発を支援することです。

ガバナンスと内部監督

Almawaveは、Velvetモデルファミリーの管理と継続的な監督のために内部ガバナンスフレームワークを構築しています。主要なガバナンス要素には以下が含まれます。

• 倫理と技術委員会による監督：モデルが透明性、公平性、安全性の原則に準拠することを確保します。
• 監査ツールを通じた継続的なバイアス監視と、倫理基準との整合性を向上させるための反復的な更新。
• 商業的および機関的な使用の制限：規制フレームワークと共同責任の原則に準拠することを確保します。
• 定期的なレビュープロセス：高リスクアプリケーションにおけるモデルの影響を評価します。

バイアス、リスクと制限

データのフィルタリングを行ったにもかかわらず、Velvetの訓練データセットには有毒な言語や社会的バイアスが含まれている可能性があります。これは、Velvetファミリーのモデルがこれらのバイアスを再現し、そのような入力プロンプトを受け取ったときに有害な応答を生成する可能性があることを意味します。これは、大規模なデータセットで訓練されたAIモデルに共通する問題で、データに存在するバイアスを意図せずに引き継いでしまう可能性があります。 さらに、入力プロンプトが明らかに不快なものでなくても、モデルは不正確、不完全または冗長な応答を生成する可能性があり、これは社会的に受け入れられないまたは望ましくない場合があります。これは、モデルの設計と訓練プロセスにおける潜在的な欠陥であり、AIシステムが意図したとおりに動作することを確保するために、慎重な検証と監視の重要性を強調しています。 また、推奨されるプロンプトテンプレートを使用することは、有害な応答のリスクを低減するために不可欠です。なぜなら、これはモデルがより適切で安全な出力を生成するように導くことを目的としているからです。ただし、モデルの性能は、入力プロンプトの具体的なコンテキストと複雑さによって異なる可能性があることに注意する必要があります。 最後に、エージェントワークフローでこのモデルを使用する場合、すべてのインポートされたパッケージと依存関係が信頼できるソースからのものであることを確認する必要があり、モデルの安全性と完全性を確保するためです。これは、モデルの倫理的かつ責任ある使用を維持するための重要なステップであり、エンドツーエンドの安全対策を優先して、潜在的な脆弱性や違反を防止することが重要です。 Velvetの将来のバージョンでは、自動化されたレッドチームプロトコルが統合され、モデルに対して敵対的なプロンプトのストレステストを継続的に実施し、新たに出現するリスクを特定して軽減する予定です。

敏感データの処理と使用制限

Velvetモデルは、許可されていない個人データで訓練されておらず、適切な安全対策がない場合は敏感データの処理に使用してはいけません。 使用制限：

• 特定の保障措置がない場合は、敏感な医療、金融または政府データに使用することを禁止します。
• モデルの出力が法的または倫理的な結果をもたらす可能性のあるシナリオでは、人為的な検証を行う必要があります。
• 高リスクアプリケーション（法律、医療、公共管理）では、応答の品質と安全性を確保するために、コンテンツフィルタリングと監査技術を実施する必要があります。

倫理的な考慮事項

Almawaveのコアバリューは、開放性、包容性、そして人助け精神です。私たちは、誰の背景であっても、誰にでもアクセス可能で有益なAIを創造することを目指しています。Velvetモデルは、異なる見解を尊重し、不必要な判断を避けるように設計されています。したがって、Velvetモデルは、異なる見解やニーズを包容し、尊重することを目指しています。私たちは、不必要な判断や規範的な見解を強いることを避けるよう努めており、ある状況で問題視される内容が他の状況では貴重な応用があることを認識しています。 私たちは、すべてのユーザーの尊厳と自主性、特に自由な思考と表現の権利を深く尊重しています。これらは、イノベーションと進歩に不可欠です。 私たちは、Velvetモデルの安全性と信頼性を確保するために多大な努力を払っていますが、時々不正確、バイアスがある、または不安全な応答を生成する可能性があることを認識することが重要です。 Almawaveは、倫理委員会や分野の専門家と積極的に協力して、Velvetの出力の継続的な監視を確保し、コミュニティからのフィードバックを通じて保障措置を改善しています。 私たちは、コミュニティがVelvetモデルを特定のタスクに使用する際には慎重に行い、全面的な安全テストと微調整を行うことを強くおすすめします。 Velvetが表現する見解は、訓練データに依存しており、Almawaveの見解を反映するものではありません。

貢献者

• 指導：Raniero Romagnoli
• モデルエンジニアリングと訓練：David Alessandrini, Francesco Buciuni, Andrea Favalli, Diego Perna, David Preti, Federico Wolenski, Fabio Massimo Zanzotto
• データエンジニアリングと管理：Valentina Bellomaria, Cristina Giannone, Alfredo Serafini
• ユースケース適合とテスト：Salvatore Ricciardi, Simone Scaboro, Beatrice Turano, Giancarlo Xompero
• 評価：Giovanni Cingolani, Silvana De Benedictis, Caterina Masotti, Riccardo Pasquini, Guillaume Ruiz, Giuseppe Scrugli, Alessandro Vizzarro
• 製品とガバナンス：Beata Dobrzynska, Matteo Amore, Marco Gennaro Di Martino, Vincenzo Sciacca, Alessandra Staglianò, Luca Vinciguerra

📄 ライセンス

Velvet-2Bは、Apache 2.0ライセンスの下で提供されています。

⚠️ 重要な注意事項

私たちがあなたの個人データをどのように処理するかについて詳しく知りたい場合は、プライバシーポリシーをご覧ください。

💡 使用上のヒント

大規模言語モデルの応答の事実的な正確性を向上させるために、外部の事実データ（検索強化生成など）を使用して応答を検証することを常におすすめします。モデルを使用する際には、バイアスや制限が存在する可能性に注意し、適切な検証と監視を行ってください。