Linkbricks Horizon AI Korean Mistral Nemo Sft Dpo 12B

🚀 Linkbricks-Horizon-AI韓語語言模型

本項目是由AI專業企業Linkbricks Horizon - AI的數據科學家代表 지윤성（Saxo）基於Mistral - Nemo - Instruct - 2407基礎模型訓練的韓語語言模型。該模型通過多語言交叉訓練數據和邏輯數據，能夠處理複雜的韓語邏輯問題，尤其在客戶評論、社交帖子的高維分析以及編碼等方面表現出色。

🚀 快速開始

可以使用以下命令運行模型：

ollama run benedict/linkbricks-mistral-nemo-korean:12b

✨ 主要特性

• 多語言交叉處理：通過韓語 - 中文 - 英語 - 日語交叉訓練數據，實現了多語言的交叉增強處理。
• 邏輯問題應對：利用邏輯數據進行訓練，能夠應對複雜的韓語邏輯問題。
• 功能強化：在客戶評論、社交帖子的高維分析以及編碼等方面的能力得到強化。
• 大上下文窗口：Context Window Size達到128K。
• 訓練配置：使用Deepspeed Stage = 3和rslora進行訓練。

📦 安裝指南

暫未提供具體安裝步驟。

📚 詳細文檔

模型信息

AI專業企業Linkbricks Horizon - AI的數據科學家代表 지윤성（Saxo），在KT - CLOUD上使用4個H100 - 80G顯卡，通過SFT->DPO對Mistral - Nemo - Instruct - 2407基礎模型進行了微調。該模型是一個韓語語言模型，使用韓語 - 中文 - 英語 - 日語交叉訓練數據和邏輯數據進行訓練，能夠處理複雜的韓語邏輯問題，並且分詞器直接使用基礎模型，未進行單詞擴展。

相關鏈接

• Open Ko LLM Leaderboard Season 2 ：該模型在2024/11/01~排名第4 🏆。
• www.horizonai.ai
• www.linkbricks.com
• www.linkbricks.vc

模型徽標

🔧 技術細節

訓練數據

• Saxo/ko_cn_translation_tech_social_science_linkbricks_single_dataset
• Saxo/ko_jp_translation_tech_social_science_linkbricks_single_dataset
• Saxo/en_ko_translation_tech_science_linkbricks_single_dataset_with_prompt_text_huggingface
• Saxo/en_ko_translation_social_science_linkbricks_single_dataset_with_prompt_text_huggingface
• Saxo/ko_aspect_sentiment_sns_mall_sentiment_linkbricks_single_dataset_with_prompt_text_huggingface
• Saxo/ko_summarization_linkbricks_single_dataset_with_prompt_text_huggingface
• Saxo/OpenOrca_cleaned_kor_linkbricks_single_dataset_with_prompt_text_huggingface
• Saxo/ko_government_qa_total_linkbricks_single_dataset_with_prompt_text_huggingface_sampled
• maywell/ko_Ultrafeedback_binarized

技術參數

• 模型類型：基於Mistral - Nemo - Instruct - 2407微調的韓語語言模型
• 上下文窗口大小：128K
• Deepspeed階段：Stage = 3
• 採用技術：rslora

📄 許可證

本模型採用Apache - 2.0許可證。