Linkbricks Horizon AI Korean Mistral Nemo Sft Dpo 12B

🚀 Linkbricks-Horizon-AI韩语语言模型

本项目是由AI专业企业Linkbricks Horizon - AI的数据科学家代表 지윤성（Saxo）基于Mistral - Nemo - Instruct - 2407基础模型训练的韩语语言模型。该模型通过多语言交叉训练数据和逻辑数据，能够处理复杂的韩语逻辑问题，尤其在客户评论、社交帖子的高维分析以及编码等方面表现出色。

🚀 快速开始

可以使用以下命令运行模型：

ollama run benedict/linkbricks-mistral-nemo-korean:12b

✨ 主要特性

• 多语言交叉处理：通过韩语 - 中文 - 英语 - 日语交叉训练数据，实现了多语言的交叉增强处理。
• 逻辑问题应对：利用逻辑数据进行训练，能够应对复杂的韩语逻辑问题。
• 功能强化：在客户评论、社交帖子的高维分析以及编码等方面的能力得到强化。
• 大上下文窗口：Context Window Size达到128K。
• 训练配置：使用Deepspeed Stage = 3和rslora进行训练。

📦 安装指南

暂未提供具体安装步骤。

📚 详细文档

模型信息

AI专业企业Linkbricks Horizon - AI的数据科学家代表 지윤성（Saxo），在KT - CLOUD上使用4个H100 - 80G显卡，通过SFT->DPO对Mistral - Nemo - Instruct - 2407基础模型进行了微调。该模型是一个韩语语言模型，使用韩语 - 中文 - 英语 - 日语交叉训练数据和逻辑数据进行训练，能够处理复杂的韩语逻辑问题，并且分词器直接使用基础模型，未进行单词扩展。

相关链接

• Open Ko LLM Leaderboard Season 2 ：该模型在2024/11/01~排名第4 🏆。
• www.horizonai.ai
• www.linkbricks.com
• www.linkbricks.vc

模型徽标

🔧 技术细节

训练数据

• Saxo/ko_cn_translation_tech_social_science_linkbricks_single_dataset
• Saxo/ko_jp_translation_tech_social_science_linkbricks_single_dataset
• Saxo/en_ko_translation_tech_science_linkbricks_single_dataset_with_prompt_text_huggingface
• Saxo/en_ko_translation_social_science_linkbricks_single_dataset_with_prompt_text_huggingface
• Saxo/ko_aspect_sentiment_sns_mall_sentiment_linkbricks_single_dataset_with_prompt_text_huggingface
• Saxo/ko_summarization_linkbricks_single_dataset_with_prompt_text_huggingface
• Saxo/OpenOrca_cleaned_kor_linkbricks_single_dataset_with_prompt_text_huggingface
• Saxo/ko_government_qa_total_linkbricks_single_dataset_with_prompt_text_huggingface_sampled
• maywell/ko_Ultrafeedback_binarized

技术参数

• 模型类型：基于Mistral - Nemo - Instruct - 2407微调的韩语语言模型
• 上下文窗口大小：128K
• Deepspeed阶段：Stage = 3
• 采用技术：rslora

📄 许可证

本模型采用Apache - 2.0许可证。