🚀 開源Solar-Ko模型
Solar-Ko是upstage/SOLAR-10.7B-v1.0模型的高級迭代版本，它擴展了詞彙表，並加入了韓語語料庫進行增強預訓練。Open-Solar-Ko僅使用公開可用的韓語語料庫，如AI Hub、Modu Corpus, 모두의 말뭉치和Korean Wikipedia。由於該模型僅使用公開語料庫進行訓練，因此遵循Apache2.0開源許可證，可供所有人自由使用。
🚀 快速開始
此部分文檔未提供快速開始的相關內容，若有需要可參考模型使用的相關代碼庫或官方文檔進行操作。
✨ 主要特性
- 詞彙擴展：在原始Solar模型基礎上，擴展了韓語詞彙，提升了對韓語的處理能力。
- 公開語料訓練：僅使用公開可用的韓語語料庫進行訓練，遵循開源協議，可自由使用。
- 優化架構：基於Llama - 2的優化Transformer架構，性能更優。
📚 詳細文檔
模型詳情
- 模型開發者：Junbum Lee (Beomi)
- 模型變體：Solar-Ko有一個參數規模版本，即10B持續預訓練版本。
- 輸入輸出：模型僅接受文本輸入，並輸出文本。
- 模型架構：SOLAR-KO-10.7B是一個自迴歸語言模型，採用了源自Llama - 2的優化Transformer架構。
| 屬性 |
詳情 |
| 模型類型 |
自迴歸語言模型，基於Llama - 2的優化Transformer架構 |
| 訓練數據 |
精選自AI Hub和Modu Corpus的公開韓語語料庫 |
| 參數數量 |
10.7B |
| 內容長度 |
4k |
| GQA |
支持 |
| 總詞元數 |
約150億詞元（使用擴展分詞器；使用原始SOLAR分詞器，>600億詞元） |
| 學習率 |
5e-5 |
訓練語料
模型使用了從AI Hub和Modu Corpus中精選的數據集進行訓練。訓練數據集的詳細信息如下：
用於訓練該模型的最終JSONL數據集大小約為61GB，總詞元數約為150億（使用擴展分詞器；使用原始SOLAR分詞器，>600億詞元）。
詞彙擴展
| 模型名稱 |
詞彙表大小 |
描述 |
| 原始Solar |
32000 |
Sentencepiece BPE |
| 擴展後的SOLAR-KO-10.7B |
46592 |
Sentencepiece BPE，增加了韓語詞彙和合並規則 |
詞元化示例
對“안녕하세요, 오늘은 날씨가 좋네요.”進行詞元化
- SOLAR-10.7B：26個詞元
- SOLAR-KO-10.7b：8個詞元
| 模型 |
詞元 |
| SOLAR-10.7B |
['▁', '안', '<0xEB>', '<0x85>', '<0x95>', '하', '세', '요', ',', '▁', '오', '<0xEB>', '<0x8A>', '<0x98>', '은', '▁', '날', '<0xEC>', '<0x94>', '<0xA8>', '가', '▁', '좋', '네', '요', '.'] |
| SOLAR-KO-10.7B |
['▁안녕', '하세요', ',', '▁오늘은', '▁날', '씨가', '▁좋네요', '.'] |
對“Meet 10.7B Solar: Elevating Performance with Upstage Depth UP Scaling!”進行詞元化
- SOLAR-10.7B：22個詞元
- SOLAR-KO-10.7b：22個詞元
| 模型 |
詞元 |
| SOLAR-10.7B |
['▁Meet', '▁', '1', '0', '.', '7', 'B', '▁Solar', ':', '▁E', 'lev', 'ating', '▁Performance', '▁with', '▁Up', 'stage', '▁Dep', 'th', '▁UP', '▁Scal', 'ing', '!'] |
| SOLAR-KO-10.7B |
['▁Meet', '▁', '1', '0', '.', '7', 'B', '▁Solar', ':', '▁E', 'lev', 'ating', '▁Performance', '▁with', '▁Up', 'stage', '▁Dep', 'th', '▁UP', '▁Scal', 'ing', '!'] |
模型基準測試
LM Eval Harness - 韓語 (polyglot分支)
使用了EleutherAI的lm - evaluation - harness：https://github.com/EleutherAI/lm-evaluation-harness/tree/polyglot
| 測試指標 |
0 |
5 |
10 |
50 |
| kobest_boolq (macro_f1) |
0.853949 |
0.88098 |
0.898139 |
0.902354 |
| kobest_copa (macro_f1) |
0.804531 |
0.826736 |
0.837656 |
0.860899 |
| kobest_hellaswag (macro_f1) |
0.507174 |
0.500983 |
0.487287 |
0.512182 |
| kobest_sentineg (macro_f1) |
0.3517 |
0.972291 |
0.977321 |
0.984884 |
| kohatespeech (macro_f1) |
0.258111 |
0.403957 |
0.386808 |
0.462393 |
| kohatespeech_apeach (macro_f1) |
0.337667 |
0.651697 |
0.705337 |
0.827757 |
| kohatespeech_gen_bias (macro_f1) |
0.124535 |
0.503464 |
0.498501 |
0.443218 |
| korunsmile (f1) |
0.3814 |
0.356939 |
0.369989 |
0.296193 |
| nsmc (acc) |
0.5356 |
0.87162 |
0.88654 |
0.89632 |
| pawsx_ko (acc) |
0.5435 |
0.5245 |
0.5315 |
0.5385 |
引用信息
@misc {solar_ko_junbum_2023,
author = { {L. Junbum} },
title = { Solar-Ko-10.7b },
year = 2024,
url = { https://huggingface.co/beomi/SOLAR-KO-10.7B },
publisher = { Hugging Face }
}
致謝
📄 許可證
本模型遵循Apache 2.0開源許可證。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 支持多種語言