%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
TW
Tinymistral 248M V3
TinyMistral-248M-v3 是一個248M參數規模的小型語言模型，目前仍在訓練中，已訓練約210億個標記。
下載量 179
發布時間 : 2/5/2024
模型概述
該模型是一個小型語言模型，專注於文本生成任務，適用於多種自然語言處理場景。
模型特點
小型高效
248M參數規模，適合資源有限的環境部署
多數據集訓練
使用了包括TM-DATA-V2、TxT360等多個高質量數據集進行訓練
持續訓練
模型仍在持續訓練中，性能將不斷提升
模型能力
文本生成
自然語言理解
指令跟隨
使用案例
教育
歷史知識問答
回答關於高中世界歷史、美國曆史等問題
在高中世界歷史測試中準確率達29.11%
法律
法律問題解答
回答專業法律和國際法相關問題
在國際法測試中準確率達21.49%
醫療
醫學知識問答
回答臨床知識和醫學遺傳學問題
在醫學遺傳學測試中準確率達30%
🚀 TinyMistral-248M-v3
TinyMistral-248M-v3 是一款文本生成模型，目前仍在訓練中。它基於約 210 億個標記進行訓練，在多個文本生成任務和數據集上進行了評估，展現出了一定的性能表現。
📚 詳細文檔
訓練數據集
模型使用了以下數據集進行訓練：
- Locutusque/TM-DATA-V2
- LLM360/TxT360
- mlfoundations/dclm-baseline-1.0
- Skylion007/openwebtext
- JeanKaddour/minipile
- eminorhan/gutenberg_en
評估結果
1. Open LLM Leaderboard 評估
| 任務 | 數據集 | n-shot | 指標 | 值 | 標準誤差 |
|---|---|---|---|---|---|
| 文本生成 | IFEval (0-Shot) | 0 | 嚴格準確率 | 16.39 | - |
| 文本生成 | BBH (3-Shot) | 3 | 歸一化準確率 | 1.78 | - |
| 文本生成 | MATH Lvl 5 (4-Shot) | 4 | 精確匹配率 | 0.0 | - |
| 文本生成 | GPQA (0-shot) | 0 | 歸一化準確率 | 0.0 | - |
| 文本生成 | MuSR (0-shot) | 0 | 歸一化準確率 | 5.15 | - |
| 文本生成 | MMLU-PRO (5-shot) | 5 | 準確率 | 1.47 | - |
詳細結果可查看 Open LLM Leaderboard。
2. 其他任務評估
| 任務 | 版本 | 過濾器 | n-shot | 指標 | 值 | 標準誤差 |
|---|---|---|---|---|---|---|
| Open LLM Leaderboard - arc_challenge | 1 | none | 25 | 準確率 | 0.2005 | ± 0.0117 |
| Open LLM Leaderboard - arc_challenge | 1 | none | 25 | 歸一化準確率 | 0.2406 | ± 0.0125 |
| Open LLM Leaderboard - gsm8k | 3 | flexible-extract | 5 | 精確匹配率 | 0.0083 | ± 0.0025 |
| Open LLM Leaderboard - gsm8k | 3 | strict-match | 5 | 精確匹配率 | 0.0000 | ± 0.0000 |
| Open LLM Leaderboard - hellaswag | 1 | none | 10 | 準確率 | 0.2724 | ± 0.0044 |
| Open LLM Leaderboard - hellaswag | 1 | none | 10 | 歸一化準確率 | 0.2838 | ± 0.0045 |
| Open LLM Leaderboard - mmlu | 2 | none | - | 準確率 | 0.2290 | ± 0.0035 |
| Open LLM Leaderboard - mmlu - humanities | 2 | none | - | 準確率 | 0.2380 | ± 0.0062 |
| Open LLM Leaderboard - mmlu - formal_logic | 1 | none | 5 | 準確率 | 0.2460 | ± 0.0385 |
| Open LLM Leaderboard - mmlu - high_school_european_history | 1 | none | 5 | 準確率 | 0.1818 | ± 0.0301 |
| Open LLM Leaderboard - mmlu - high_school_us_history | 1 | none | 5 | 準確率 | 0.2647 | ± 0.0310 |
| Open LLM Leaderboard - mmlu - high_school_world_history | 1 | none | 5 | 準確率 | 0.2911 | ± 0.0296 |
| Open LLM Leaderboard - mmlu - international_law | 1 | none | 5 | 準確率 | 0.2149 | ± 0.0375 |
| Open LLM Leaderboard - mmlu - jurisprudence | 1 | none | 5 | 準確率 | 0.2685 | ± 0.0428 |
| Open LLM Leaderboard - mmlu - logical_fallacies | 1 | none | 5 | 準確率 | 0.2209 | ± 0.0326 |
| Open LLM Leaderboard - mmlu - moral_disputes | 1 | none | 5 | 準確率 | 0.2457 | ± 0.0232 |
| Open LLM Leaderboard - mmlu - moral_scenarios | 1 | none | 5 | 準確率 | 0.2369 | ± 0.0142 |
| Open LLM Leaderboard - mmlu - philosophy | 1 | none | 5 | 準確率 | 0.1865 | ± 0.0221 |
| Open LLM Leaderboard - mmlu - prehistory | 1 | none | 5 | 準確率 | 0.1975 | ± 0.0222 |
| Open LLM Leaderboard - mmlu - professional_law | 1 | none | 5 | 準確率 | 0.2432 | ± 0.0110 |
| Open LLM Leaderboard - mmlu - world_religions | 1 | none | 5 | 準確率 | 0.3099 | ± 0.0355 |
| Open LLM Leaderboard - mmlu - other | 2 | none | - | 準確率 | 0.2375 | ± 0.0076 |
| Open LLM Leaderboard - mmlu - other - business_ethics | 1 | none | 5 | 準確率 | 0.3200 | ± 0.0469 |
| Open LLM Leaderboard - mmlu - other - clinical_knowledge | 1 | none | 5 | 準確率 | 0.2226 | ± 0.0256 |
| Open LLM Leaderboard - mmlu - other - college_medicine | 1 | none | 5 | 準確率 | 0.1965 | ± 0.0303 |
| Open LLM Leaderboard - mmlu - other - global_facts | 1 | none | 5 | 準確率 | 0.1800 | ± 0.0386 |
| Open LLM Leaderboard - mmlu - other - human_aging | 1 | none | 5 | 準確率 | 0.3004 | ± 0.0308 |
| Open LLM Leaderboard - mmlu - other - management | 1 | none | 5 | 準確率 | 0.1942 | ± 0.0392 |
| Open LLM Leaderboard - mmlu - other - marketing | 1 | none | 5 | 準確率 | 0.2735 | ± 0.0292 |
| Open LLM Leaderboard - mmlu - other - medical_genetics | 1 | none | 5 | 準確率 | 0.3000 | ± 0.0461 |
| Open LLM Leaderboard - mmlu - other - miscellaneous | 1 | none | 5 | 準確率 | 0.2478 | ± 0.0154 |
| Open LLM Leaderboard - mmlu - other - nutrition | 1 | none | 5 | 準確率 | 0.2222 | ± 0.0238 |
| Open LLM Leaderboard - mmlu - other - professional_accounting | 1 | none | 5 | 準確率 | 0.2021 | ± 0.0240 |
| Open LLM Leaderboard - mmlu - other - professional_medicine | 1 | none | 5 | 準確率 | 0.1912 | ± 0.0239 |
| Open LLM Leaderboard - mmlu - other - virology | 1 | none | 5 | 準確率 | 0.2590 | ± 0.0341 |
| Open LLM Leaderboard - mmlu - social sciences | 2 | none | - | 準確率 | 0.2203 | ± 0.0075 |
| Open LLM Leaderboard - mmlu - social sciences - econometrics | 1 | none | 5 | 準確率 | 0.2368 | ± 0.0400 |
| Open LLM Leaderboard - mmlu - social sciences - high_school_geography | 1 | none | 5 | 準確率 | 0.2020 | ± 0.0286 |
| Open LLM Leaderboard - mmlu - social sciences - high_school_government_and_politics | 1 | none | 5 | 準確率 | 0.1865 | ± 0.0281 |
| Open LLM Leaderboard - mmlu - social sciences - high_school_macroeconomics | 1 | none | 5 | 準確率 | 0.2205 | ± 0.0210 |
| Open LLM Leaderboard - mmlu - social sciences - high_school_microeconomics | 1 | none | 5 | 準確率 | 0.2143 | ± 0.0267 |
| Open LLM Leaderboard - mmlu - social sciences - high_school_psychology | 1 | none | 5 | 準確率 | 0.1908 | ± 0.0168 |
| Open LLM Leaderboard - mmlu - social sciences - human_sexuality | 1 | none | 5 | 準確率 | 0.2672 | ± 0.0388 |
| Open LLM Leaderboard - mmlu - social sciences - professional_psychology | 1 | none | 5 | 準確率 | 0.2386 | ± 0.0172 |
| Open LLM Leaderboard - mmlu - social sciences - public_relations | 1 | none | 5 | 準確率 | 0.1727 | ± 0.0362 |
| Open LLM Leaderboard - mmlu - social sciences - security_studies | 1 | none | 5 | 準確率 | 0.2367 | ± 0.0272 |
| Open LLM Leaderboard - mmlu - social sciences - sociology | 1 | none | 5 | 準確率 | 0.2488 | ± 0.0306 |
| Open LLM Leaderboard - mmlu - social sciences - us_foreign_policy | 1 | none | 5 | 準確率 | 0.2600 | ± 0.0441 |
| Open LLM Leaderboard - mmlu - stem | 2 | none | - | 準確率 | 0.2157 | ± 0.0073 |
| Open LLM Leaderboard - mmlu - stem - abstract_algebra | 1 | none | 5 | 準確率 | 0.2200 | ± 0.0416 |
| Open LLM Leaderboard - mmlu - stem - anatomy | 1 | none | 5 | 準確率 | 0.1778 | ± 0.0330 |
| Open LLM Leaderboard - mmlu - stem - astronomy | 1 | none | 5 | 準確率 | 0.1908 | ± 0.0320 |
| Open LLM Leaderboard - mmlu - stem - college_biology | 1 | none | 5 | 準確率 | 0.2778 | ± 0.0375 |
| Open LLM Leaderboard - mmlu - stem - college_chemistry | 1 | none | 5 | 準確率 | 0.2200 | ± 0.0416 |
| Open LLM Leaderboard - mmlu - stem - college_computer_science | 1 | none | 5 | 準確率 | 0.2100 | ± 0.0409 |
| Open LLM Leaderboard - mmlu - stem - college_mathematics | 1 | none | 5 | 準確率 | 0.2100 | ± 0.0409 |
| Open LLM Leaderboard - mmlu - stem - college_physics | 1 | none | 5 | 準確率 | 0.2157 | ± 0.0409 |
| Open LLM Leaderboard - mmlu - stem - computer_security | 1 | none | 5 | 準確率 | 0.2700 | ± 0.0446 |
| Open LLM Leaderboard - mmlu - stem - conceptual_physics | 1 | none | 5 | 準確率 | 0.2638 | ± 0.0288 |
| Open LLM Leaderboard - mmlu - stem - electrical_engineering | 1 | none | 5 | 準確率 | 0.2483 | ± 0.0360 |
| Open LLM Leaderboard - mmlu - stem - elementary_mathematics | 1 | none | 5 | 準確率 | 0.2037 | ± 0.0207 |
| Open LLM Leaderboard - mmlu - stem - high_school_biology | 1 | none | 5 | 準確率 | 0.1774 | ± 0.0217 |
| Open LLM Leaderboard - mmlu - stem - high_school_chemistry | 1 | none | 5 | 準確率 | 0.2020 | ± 0.0282 |
| Open LLM Leaderboard - mmlu - stem - high_school_computer_science | 1 | none | 5 | 準確率 | 0.2500 | ± 0.0435 |
| Open LLM Leaderboard - mmlu - stem - high_school_mathematics | 1 | none | 5 | 準確率 | 0.2148 | ± 0.0250 |
| Open LLM Leaderboard - mmlu - stem - high_school_physics | 1 | none | 5 | 準確率 | 0.2053 | ± 0.0330 |
| Open LLM Leaderboard - mmlu - stem - high_school_statistics | 1 | none | 5 | 準確率 | 0.1481 | ± 0.0242 |
| Open LLM Leaderboard - mmlu - stem - machine_learning | 1 | none | 5 | 準確率 | 0.3125 | ± 0.0440 |
| Open LLM Leaderboard - truthfulqa_gen | 3 | none | 0 | BLEU 準確率 | 0.2362 | ± 0.0149 |
| Open LLM Leaderboard - truthfulqa_gen | 3 | none | 0 | BLEU 差異 | -1.0138 | ± 0.2569 |
| Open LLM Leaderboard - truthfulqa_gen | 3 | none | 0 | BLEU 最大值 | 7.9522 | ± 0.4088 |
| Open LLM Leaderboard - truthfulqa_gen | 3 | none | 0 | ROUGE-1 準確率 | 0.2595 | ± 0.0153 |
| Open LLM Leaderboard - truthfulqa_gen | 3 | none | 0 | ROUGE-1 差異 | -1.9129 | ± 0.4349 |
| Open LLM Leaderboard - truthfulqa_gen | 3 | none | 0 | ROUGE-1 最大值 | 21.7885 | ± 0.7307 |
| Open LLM Leaderboard - truthfulqa_gen | 3 | none | 0 | ROUGE-2 準確率 | 0.1200 | ± 0.0114 |
| Open LLM Leaderboard - truthfulqa_gen | 3 | none | 0 | ROUGE-2 差異 | -1.9771 | ± 0.3475 |
| Open LLM Leaderboard - truthfulqa_gen | 3 | none | 0 | ROUGE-2 最大值 | 9.0199 | ± 0.5842 |
| Open LLM Leaderboard - truthfulqa_gen | 3 | none | 0 | ROUGE-L 準確率 | 0.2570 | ± 0.0153 |
| Open LLM Leaderboard - truthfulqa_gen | 3 | none | 0 | ROUGE-L 差異 | -1.8812 | ± 0.4185 |
| Open LLM Leaderboard - truthfulqa_gen | 3 | none | 0 | ROUGE-L 最大值 | 19.6284 | ± 0.6850 |
| Open LLM Leaderboard - truthfulqa_mc1 | 2 | none | 0 | 準確率 | 0.1983 | ± 0.0140 |
| Open LLM Leaderboard - truthfulqa_mc2 | 2 | none | 0 | 準確率 | 0.3861 | ± 0.0147 |
| Open LLM Leaderboard - winogrande | 1 | none | 5 | 準確率 | 0.4972 | ± 0.0141 |
3. 分組評估結果
| 組 | 版本 | 過濾器 | n-shot | 指標 | 值 | 標準誤差 |
|---|---|---|---|---|---|---|
| Open LLM Leaderboard - mmlu | 2 | none | - | 準確率 | 0.2290 | ± 0.0035 |
| Open LLM Leaderboard - mmlu - humanities | 2 | none | - | 準確率 | 0.2380 | ± 0.0062 |
| Open LLM Leaderboard - mmlu - other | 2 | none | - | 準確率 | 0.2375 | ± 0.0076 |
| Open LLM Leaderboard - mmlu - social sciences | 2 | none | - | 準確率 | 0.2203 | ± 0.0075 |
| Open LLM Leaderboard - mmlu - stem | 2 | none | - | 準確率 | 0.2157 | ± 0.0073 |
4. 其他任務結果
| 任務 | 版本 | 過濾器 | n-shot | 指標 | 值 | 標準誤差 |
|---|---|---|---|---|---|---|
| agieval_nous | 0 | none | - | 歸一化準確率 | 0.2133 | ± 0.0081 |
| agieval_nous - agieval_aqua_rat | 1 | none | 0 | 準確率 | 0.2047 | ± 0.0254 |
| agieval_nous - agieval_aqua_rat | 1 | none | 0 | 歸一化準確率 | 0.1969 | ± 0.0250 |
| agieval_nous - agieval_logiqa_en | 1 | none | 0 | 準確率 | 0.2043 | ± 0.0158 |
| agieval_nous - agieval_logiqa_en | 1 | none | 0 | 歸一化準確率 | 0.2304 | ± 0.0165 |
| agieval_nous - agieval_lsat_ar | 1 | none | 0 | 準確率 | 0.1739 | ± 0.0250 |
| agieval_nous - agieval_lsat_ar | 1 | none | 0 | 歸一化準確率 | 0.1957 | ± 0.0262 |
| agieval_nous - agieval_lsat_lr | 1 | none | 0 | 準確率 | 0.1549 | ± 0.0160 |
| agieval_nous - agieval_lsat_lr | 1 | none | 0 | 歸一化準確率 | 0.1608 | ± 0.0163 |
| agieval_nous - agieval_lsat_rc | 1 | none | 0 | 準確率 | 0.1636 | ± 0.0226 |
| agieval_nous - agieval_lsat_rc | 1 | none | 0 | 歸一化準確率 | 0.2119 | ± 0.0250 |
| agieval_nous - agieval_sat_en | 1 | none | 0 | 準確率 | 0.2670 | ± 0.0309 |
| agieval_nous - agieval_sat_en | 1 | none | 0 | 歸一化準確率 | 0.2621 | ± 0.0307 |
| agieval_nous - agieval_sat_en_without_passage | 1 | none | 0 | 準確率 | 0.2670 | ± 0.0309 |
| agieval_nous - agieval_sat_en_without_passage | 1 | none | 0 | 歸一化準確率 | 0.2621 | ± 0.0307 |
| agieval_nous - agieval_sat_math | 1 | none | 0 | 準確率 | 0.2182 | ± 0.0279 |
| agieval_nous - agieval_sat_math | 1 | none | 0 | 歸一化準確率 | 0.2318 | ± 0.0285 |
| arc_challenge | 1 | none | 0 | 準確率 | 0.1945 | ± 0.0116 |
| arc_challenge | 1 | none | 0 | 歸一化準確率 | 0.2372 | ± 0.0124 |
| truthfulqa_mc2 | 2 | none | 0 | 準確率 | 0.3861 | ± 0.0147 |
5. 分組評估結果
| 組 | 版本 | 過濾器 | n-shot | 指標 | 值 | 標準誤差 |
|---|---|---|---|---|---|---|
| agieval_nous | 0 | none | - | 歸一化準確率 | 0.2133 | ± 0.0081 |
綜合評估指標
| 指標 | 值 |
|---|---|
| 平均值 | 4.13 |
| IFEval (0-Shot) | 16.39 |
| BBH (3-Shot) | 1.78 |
| MATH Lvl 5 (4-Shot) | 0.00 |
| GPQA (0-shot) | 0.00 |
| MuSR (0-shot) | 5.15 |
| MMLU-PRO (5-shot) | 1.47 |
詳細結果可查看 這裡。
📄 許可證
本項目採用 Apache-2.0 許可證。
Phi 2 GGUF
其他
Phi-2是微軟開發的一個小型但強大的語言模型，具有27億參數，專注於高效推理和高質量文本生成。
大型語言模型 支持多種語言
P
TheBloke
41.5M
205
Roberta Large
MIT
基於掩碼語言建模目標預訓練的大型英語語言模型，採用改進的BERT訓練方法
大型語言模型 英語
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基礎模型的蒸餾版本，在保持相近性能的同時更輕量高效，適用於序列分類、標記分類等自然語言處理任務。
大型語言模型 英語
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一個多語言大語言模型，針對多語言對話用例進行了優化，在常見的行業基準測試中表現優異。
大型語言模型 英語
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基於100種語言的2.5TB過濾CommonCrawl數據預訓練的多語言模型，採用掩碼語言建模目標進行訓練。
大型語言模型 支持多種語言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基於Transformer架構的英語預訓練模型，通過掩碼語言建模目標在海量文本上訓練，支持文本特徵提取和下游任務微調
大型語言模型 英語
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI發佈的開放預訓練Transformer語言模型套件，參數量從1.25億到1750億，旨在對標GPT-3系列性能，同時促進大規模語言模型的開放研究。
大型語言模型 英語
O
facebook
6.3M
198
1
基於transformers庫的預訓練模型，適用於多種NLP任務
大型語言模型
Transformers
Transformers1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多語言大語言模型系列，包含8B、70B和405B參數規模，支持8種語言和代碼生成，優化了多語言對話場景。
大型語言模型 Transformers 支持多種語言
Transformers 支持多種語言L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基礎版是由Google開發的文本到文本轉換Transformer模型，參數規模2.2億，支持多語言NLP任務。
大型語言模型 支持多種語言
T
google-t5
5.4M
702
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型，性能媲美GPT-3.5-turbo，優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型 Transformers 支持多種語言
Transformers 支持多種語言L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型，專為邊緣設備推理設計，體積僅為Cosmo-3B模型的2%左右。
對話系統 Transformers 英語
Transformers 英語C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型，適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98