L

Llama DNA 1.0 8B Instruct

由dnotitia開發
基於Llama架構的最先進雙語語言模型,特別優化了韓語理解和生成能力,同時保持強大的英語能力。
下載量 661
發布時間 : 12/6/2024

模型概述

DNA 1.0 8B 指導模型是通過複雜的模型合併過程開發的,包括與Llama 3.1 8B指導模型進行球面線性插值(SLERP),並使用Llama 3.1 405B作為教師模型進行知識蒸餾(KD)。通過高質量韓語數據集的持續預訓練(CPT)進行了廣泛訓練,並通過監督微調(SFT)和直接偏好優化(DPO)完成訓練流程。

模型特點

優化的韓語能力
特別針對韓語理解和生成進行了優化,同時保持強大的英語能力。
先進的訓練方法
採用球面線性插值(SLERP)、知識蒸餾(KD)、持續預訓練(CPT)、監督微調(SFT)和直接偏好優化(DPO)等多種先進訓練技術。
長上下文支持
支持131,072標記(128k)的長上下文處理能力。
人類偏好對齊
通過直接偏好優化(DPO)訓練流程,使模型輸出更符合人類偏好。

模型能力

韓語文本生成
英語文本生成
多輪對話
複雜指令理解
知識問答

使用案例

智能助手
韓語聊天機器人
用於韓語環境的智能對話助手
在KMMLU和KoBEST等韓語基準測試中表現優異
教育
語言學習助手
幫助學習者練習韓語和英語
商業應用
雙語客服系統
用於處理韓語和英語客戶諮詢
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase