Velvet 2B

🚀 Velvet-2B大語言模型

Velvet是一個從頭開始開發的意大利大型語言模型家族，採用了密集架構。該模型在由CINECA託管的HPC Leonardo基礎設施上進行訓練，使用了經過大量篩選的公共數據。

🚀 快速開始

Velvet-2B是一個專為集成到AI系統或應用程序而設計的大型語言模型。它可以處理文本輸入並生成文本輸出，適用於多種自然語言處理任務，如文本生成、分類、摘要、問答等。

✨ 主要特性

• 多語言支持：在意大利語和英語兩種語言上進行訓練，能夠處理多種語言的文本。
• 高效架構：採用基於Transformer的因果解碼器架構，結合分組查詢注意力（GQA）和旋轉位置嵌入（RoPE），提高了效率和性能。
• 廣泛的訓練數據：使用了近3萬億個標記的公共數據進行訓練，涵蓋了多種語言和主題。
• 安全可靠：經過了全面的安全評估和對抗性測試，採取了多種措施來減少風險和偏見。

📦 安裝指南

該模型可以與以下框架一起使用：

• vllm
• transformers
• ollama

💻 使用示例

目前文檔未提供具體代碼示例，你可以根據上述支持的框架，參考其官方文檔進行使用。

📚 詳細文檔

模型詳情

• 模型開發者：Almawave的技術與創新團隊
• 輸入：僅接受文本輸入
• 輸出：僅生成文本輸出
• 發佈日期：2025年2月11日
• 許可證：Apache 2.0

模型架構與訓練

Velvet模型家族有兩種規模——20億和140億參數，即Velvet-2B和Velvet-14B。 Velvet-2B是一個20億參數的指令模型，基於Velvet-2B-base進行微調，使用了開源指令數據集和內部收集的合成數據集，用於解決基於文本“指令”的問題。

架構

• 基於Transformer的自迴歸語言模型，採用因果解碼器設計。
• 28個Transformer層。
• MLP中間層大小為8192。
• 分組查詢注意力（GQA）：32個查詢頭和8個鍵值頭，提高效率。
• 旋轉位置嵌入（RoPE）。
• 使用SiLU激活函數和RMSNorm方法。
• 訓練序列長度為4K標記，支持上下文長度達32K標記。
• 詞彙表大小為12.7萬，適應語言多樣性。
• 訓練階段：預訓練和後訓練

狀態

這是一個基於離線數據集訓練的靜態模型。隨著我們根據社區反饋改進模型安全性，未來將發佈調優模型的新版本。Almawave正在積極制定策略，以提高Velvet模型未來版本的對齊性和魯棒性。

支持的語言

Velvet-2B在意大利語和英語兩種語言上進行了訓練。為確保高質量的多語言性能，訓練數據集經過精心篩選，以平衡語言表示，減少過擬合偏差。

預期用途

Velvet-2B旨在集成到AI系統或應用程序中。其潛在用途包括但不限於文本生成、分類、摘要、問答等。需要注意的是，特定應用可能需要進一步的模型調整或額外的安全措施，以防止不良行為或輸出。

能力

• 摘要生成
• 信息提取
• 檢索增強生成（RAG）
• 釋義
• 文本蘊含
• 自然語言推理
• 常識推理
• 文本分類
• 機器翻譯
• 問答
• 文本補全

訓練數據

概述

該模型在近3萬億個標記的公共數據上進行預訓練。這些數據來源廣泛，包括各種網絡文本，使模型接觸到豐富的語言風格、主題和詞彙。訓練數據集在多種語言上具有平衡的表示。

微調數據包括公開可用的指令數據集，以及超過100萬個用於監督微調（SFT）的人工標註和合成示例。此外，我們還使用了超過5萬個用於安全指令的人工生成示例。預訓練和微調數據集均不包含Almawave的客戶數據。

我們已做出大量努力來提高響應的事實準確性；然而，我們始終建議使用外部事實數據（如檢索增強生成）來驗證大語言模型的響應。

數據時效性

兩種不同模型的預訓練數據截止時間在2024年8月至2024年10月之間。

評估

意大利語

英語

責任與安全

大型語言模型是一種通用技術，旨在服務於廣泛的應用。然而，它們並非開箱即用就能滿足每個開發者的安全要求，因為這些要求會根據具體用例和應用場景而有所不同。

安全

對於我們的指令訓練模型，我們進行了全面的測試，開展了內部和外部的對抗性評估，並採取了緩解措施來降低風險。這些測試旨在徹底檢查模型的侷限性和潛力，模擬可能出現不良行為的真實和假設場景。

然而，儘管做出了這些努力，仍然不可避免地存在一些殘留風險，因為每個大型語言模型都存在無法完全消除的內在複雜性。

因此，建議開發者實施適當的安全措施，並進行盡職調查，根據他們的產品政策和應用的具體要求定製這些保障措施。

模型的有用性和對齊性之間可能存在一些權衡。開發者應該為他們的特定應用和受眾仔細平衡對齊性和有用性的好處。他們還必須在使用Velvet模型時意識到殘留風險，並在必要時利用額外的安全工具，以達到適合他們用例的安全標準。

我們建議開發者在他們的特定用例背景下仔細評估風險。他們應該考慮模型在其應用中失敗的潛在影響，並採取適當的措施來應對這種情況。

同時，我們正在與科學界和工業界合作，建立透明、嚴格和可解釋的AI安全基準標準。目標是促進對大型語言模型相關風險的更好理解，並支持開發更安全、更負責任的解決方案。

治理與內部監督

Almawave為Velvet模型家族的管理和持續監督建立了一個內部治理框架。關鍵治理要素包括：

• 由道德和技術委員會監督，以確保模型符合透明、公平和安全的原則。
• 通過審計工具進行持續的偏差監測，並進行迭代更新，以提高與道德準則的一致性。
• 對商業和機構使用的限制，以確保符合監管框架和共同責任原則。
• 定期審查流程，以評估模型在高風險應用中的影響。

偏差、風險與侷限性

儘管進行了數據篩選，但Velvet訓練數據集可能包含有毒語言和社會偏差。這意味著Velvet家族的模型可能會重現這些偏差，並在受到此類輸入提示時產生有害響應。這是在大型數據集上訓練的AI模型常見的問題，因為它們可能會無意中延續數據中存在的偏差。

此外，即使輸入提示沒有明顯冒犯性，模型也可能生成不準確、不完整或冗餘的響應，這可能在社會上不可接受或不受歡迎。這是模型設計和訓練過程中的一個潛在缺陷，強調了對AI系統進行仔細驗證和監控的重要性，以確保它們按預期運行。

此外，使用推薦的提示模板對於降低有害響應的風險至關重要，因為它旨在引導模型產生更合適和安全的輸出。然而，需要注意的是，模型的性能仍可能因輸入提示的具體上下文和複雜性而異。

最後，在代理工作流程中使用此模型時，必須確保所有導入的包和依賴項都來自可信來源，以確保模型的安全性和完整性。這是維護模型道德和負責任使用的關鍵步驟，優先考慮端到端的安全措施以防止任何潛在的漏洞或違規行為非常重要。

未來版本的Velvet將集成自動化紅隊協議，不斷對模型進行對抗性提示的壓力測試，以識別和緩解新出現的風險。

敏感數據處理與使用限制

Velvet模型未在未經授權的個人數據上進行訓練，並且在沒有適當安全措施的情況下不得用於處理敏感數據。

使用限制：

• 禁止在沒有特定保障措施的情況下用於敏感的醫療、金融或政府數據。
• 在模型輸出可能產生法律或道德後果的場景中，必須進行人工驗證。
• 高風險應用（法律、醫療、公共治理）必須實施內容過濾和審計技術，以確保響應質量和安全。

倫理考量

Almawave的核心價值觀是開放、包容和樂於助人。我們旨在創建對每個人都可訪問和有益的AI，無論他們的背景如何。Velvet模型旨在尊重不同的觀點，避免不必要的判斷。因此，Velvet模型旨在包容和尊重不同的觀點和需求。我們努力避免不必要的判斷或強加規範性觀點，認識到在某些情況下被視為有問題的內容在其他情況下可能有寶貴的應用。

我們深深尊重所有用戶的尊嚴和自主權，特別是他們的自由思考和表達權，這對創新和進步至關重要。

雖然我們已採取重大措施確保Velvet模型的安全和可靠性，但重要的是要承認它們偶爾可能會生成不準確、有偏差或不安全的響應。

Almawave正在積極與倫理委員會和領域專家合作，以確保對Velvet輸出的持續監督，並通過社區反饋改進保障措施。

我們強烈鼓勵社區在將Velvet模型用於特定任務時謹慎行事，並進行全面的安全測試和微調。

Velvet表達的觀點取決於訓練數據，並不反映Almawave的任何觀點。

貢獻

• 指導：Raniero Romagnoli
• 模型工程與訓練：David Alessandrini, Francesco Buciuni, Andrea Favalli, Diego Perna, David Preti, Federico Wolenski, Fabio Massimo Zanzotto
• 數據工程與管理：Valentina Bellomaria, Cristina Giannone, Alfredo Serafini
• 用例適配與測試：Salvatore Ricciardi, Simone Scaboro, Beatrice Turano, Giancarlo Xompero
• 評估：Giovanni Cingolani, Silvana De Benedictis, Caterina Masotti, Riccardo Pasquini, Guillaume Ruiz, Giuseppe Scrugli, Alessandro Vizzarro
• 產品與治理：Beata Dobrzynska, Matteo Amore, Marco Gennaro Di Martino, Vincenzo Sciacca, Alessandra Staglianò, Luca Vinciguerra

許可證

Velvet-2B採用Apache 2.0許可證。

⚠️ 重要提示

如果你想了解更多關於我們如何處理你的個人數據的信息，請閱讀我們的隱私政策。

💡 使用建議

始終建議使用外部事實數據（如檢索增強生成）來驗證大語言模型的響應，以提高響應的事實準確性。在使用模型時，要注意其可能存在的偏差和侷限性，並進行適當的驗證和監控。