Koalpaca Polyglot 12.8B

🚀 KoAlpaca-Polyglot-12.8B (v1.1b)

本模型是基於 EleutherAI/polyglot-ko-12.8b 在 KoAlpaca 數據集 v1.1b 上進行微調的版本。它能夠利用預訓練模型的知識，並結合特定數據集的特點，在韓語相關的文本生成任務中表現出更好的性能。

詳細代碼可在 KoAlpaca Github 倉庫 中獲取。

🚀 快速開始

更新於 2023.06.01

• 添加了 Safetensor 分片模型權重（最大分片 = 1GB）

✨ 主要特性

• 微調優化：基於 EleutherAI/polyglot-ko-12.8b 模型在 KoAlpaca 數據集上進行微調，提升了在韓語任務上的表現。
• 代碼開源：詳細代碼可在 KoAlpaca Github 倉庫 中獲取，方便開發者進行研究和二次開發。

🔧 技術細節

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

框架版本

• Transformers 4.28.1
• Pytorch 2.0.0+cu117
• Datasets 2.11.0
• Tokenizers 0.13.3

📄 許可證

本項目採用 Apache-2.0 許可證。