Alireo 400m Instruct V0.1

🚀 Alireo-400M 🤖 🇮🇹

Alireo-400M是一款輕量級的意大利語語言模型，擁有4000萬個參數。它在保證高效自然語言處理能力的同時，相較於大型模型，佔用的資源更少。

🚀 快速開始

文檔中未提供快速開始的相關內容，可根據實際情況補充模型的使用步驟等信息。

✨ 主要特性

• 架構：基於Transformer的語言模型 🏗️
• 參數數量：4000萬 📊
• 上下文窗口：8K個標記 🪟
• 訓練數據：精心挑選的意大利語文本語料庫（書籍、文章、網頁內容） 📚
• 模型大小：約800MB 💾

📚 詳細文檔

模型描述 📝

Alireo-400M是一個輕量級但功能強大的意大利語語言模型，擁有4000萬個參數。與大型模型相比，它在提供高效自然語言處理能力的同時，佔用的資源更少。

性能表現 📈

儘管Alireo-400M體積小巧，但表現出色：

• 基準測試結果：在多個基準測試中優於Qwen 0.5B 🏆
• 語言理解：在意大利語語言理解任務中保持較高的準確率 🎯
• 速度：由於架構經過優化，推理速度快 ⚡

侷限性 ⚠️

• 與大型模型相比，上下文窗口有限。
• 處理高度專業化的技術內容時可能會遇到困難。
• 在處理方言變體時，性能可能會有所不同。
• 不適合多語言任務。

硬件要求 💻

• 最小內存：2GB
• 推薦內存：4GB
• GPU：可選，但為了加快推理速度，建議使用。
• 磁盤空間：約1GB（包括模型和依賴項）

📄 許可證

該模型採用Apache-2.0許可證。

📄 引用

@software{alireo2024,
  author = {[Michele Montebovi]},
  title = {Alireo-400M: A Lightweight Italian Language Model},
  year = {2024},
}

訓練數據集

• DeepMount00/o1-ITA-REASONING
• DeepMount00/GPT-4o-ITA-INSTRUCT
• DeepMount00/Sonnet-3.5-ITA-INSTRUCT
• DeepMount00/open-perfectblend-ita
• HuggingFaceTB/cosmopedia
• DeepMount00/pretraining_multi