Lumimaid V0.2 70B

🚀 Lumimaid 0.2

Lumimaid 0.2是基於Meta-Llama-3.1-70B-Instruct的模型，在數據集方面相較於0.1版本有了巨大的提升。它經過了數據的不斷添加、清理等操作，為用戶提供更優質的使用體驗。

8b - 12b - [70b] - 123b

📚 詳細文檔

模型基礎

本模型基於：Meta-Llama-3.1-70B-Instruct Wandb鏈接：https://wandb.ai/undis95/Lumi-Llama-3-1-70B?nw=nwuserundis95

版本升級

從Lumimaid 0.1到0.2，在數據集方面是一個巨大的飛躍。由於有人反饋模型輸出比較雜亂，開發者決定清理大部分雜亂的聊天數據。自項目開始以來，數據集一直保持著更新，不斷添加數據、清理數據並重復這個過程。此前因一直不滿意而未發佈新模型，現在團隊認為是時候迴歸了！

提示模板

採用Llama-3-Instruct提示模板：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{input}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

{output}<|eot_id|>

訓練數據

我們用於構建數據集的訓練數據來源如下：

• Epiculous/Gnosis
• ChaoticNeutrals/Luminous_Opus
• ChaoticNeutrals/Synthetic-Dark-RP
• ChaoticNeutrals/Synthetic-RP
• Gryphe/Sonnet3.5-SlimOrcaDedupCleaned
• Gryphe/Opus-WritingPrompts
• meseca/writing-opus-6k
• meseca/opus-instruct-9k
• PJMixers/grimulkan_theory-of-mind-ShareGPT
• NobodyExistsOnTheInternet/ToxicQAFinal
• Undi95/toxic-dpo-v0.1-sharegpt
• cgato/SlimOrcaDedupCleaned
• kalomaze/Opus_Instruct_25k
• Doctor-Shotgun/no-robots-sharegpt
• Norquinal/claude_multiround_chat_30k
• nothingiisreal/Claude-3-Opus-Instruct-15K
• 所有Aesirs數據集，已清理、去除雜亂內容
• 所有le luminae數據集，已清理、去除雜亂內容
• Airoboros的一小部分精簡數據

遺憾的是，我們未找到以下數據集的來源，如果您認出是您的數據集，請聯繫我們！

• Opus_Instruct-v2-6.5K-Filtered-v2-sharegpt
• claude_sharegpt_trimmed
• CapybaraPure_Decontaminated-ShareGPT_reduced

🔗 相關人員與支持

貢獻者

• Undi
• IkariDev

數據集貢獻者

• Epiculous
• ChaoticNeutrals
• Gryphe
• meseca
• PJMixers
• NobodyExistsOnTheInternet
• cgato
• kalomaze
• Doctor-Shotgun
• Norquinal
• nothingiisreal

支持與訪問

• Undi：如果您想支持我們，可以點擊此處。
• IkariDev：請訪問我的復古/新城市風格網站。

📄 許可證

本項目採用CC BY-NC 4.0許可證。

⚠️ 重要提示

本模型標籤包含not-for-all-audiences和nsfw，請謹慎使用。