# 大語言模型優化

DeepSeek AI 公司的 DeepSeek R1 0528 模型的量化版本，基於優化的 Transformer 架構的自迴歸語言模型，可用於商業和非商業用途。

Gemma 3 27B Instruct 是由 Google 開發的大型語言模型，基於 neo4j/text2cypher-2025v1 數據集微調，專注於將自然語言轉換為 Cypher 查詢語言。

Mistral-NeMo-Minitron-8B-Base是一個基礎的文本生成模型，通過對Mistral-NeMo 12B進行剪枝和蒸餾得到，適用於多種自然語言生成任務。

基於LLaMA-2-7B的激活稀疏化大語言模型，通過ProSparse方法實現高稀疏率(89.32%)且保持原始性能

BLOOM 是一個開源的多語言大語言模型，由 BigScience 項目開發，旨在提供高效的文本生成能力。