Biollama Ko 8B

🚀 BioLlama-Ko-8B

BioLlama-Ko-8B是使用mergekit合併預訓練語言模型而創建的模型，在醫學領域的問答任務中表現出色，為生物醫學研究和應用提供了有力支持。

🚀 快速開始

本模型基於transformers庫，使用以下基礎模型合併而成：

• beomi/Llama-3-Open-Ko-8B
• ProbeMedicalYonseiMAILab/medllama3-v20

相關標籤：

• mergekit
• merge

許可證：apache-2.0

使用的數據集：

• sean0042/KorMedMCQA

🏆 評估

kormedmcqa(韓語醫學基準)

🔧 技術細節

合併方法

本模型使用DARE TIES合併方法，以ProbeMedicalYonseiMAILab/medllama3-v20為基礎進行合併。

合併的模型

合併過程中包含以下模型：

• beomi/Llama-3-Open-Ko-8B

配置

以下是用於生成此模型的YAML配置：

models:
  - model: ProbeMedicalYonseiMAILab/medllama3-v20
  - model: beomi/Llama-3-Open-Ko-8B
    parameters:
      density: 0.8
      weight: 0.45
merge_method: dare_ties
base_model: ProbeMedicalYonseiMAILab/medllama3-v20
parameters:
  int8_mask: true
dtype: bfloat16

📄 許可證

本項目採用apache-2.0許可證。