Lumimaid V0.2 70B

🚀 Lumimaid 0.2

Lumimaid 0.2は、Meta-Llama-3.1-70B-Instructをベースにしたモデルです。0.1バージョンと比較して、データセット面で大幅な向上が見られます。開発者はデータの追加やクリーニングを繰り返し行い、ユーザーにより良い使用体験を提供するために努力しています。

8b - 12b - [70b] - 123b

📚 ドキュメント

モデル基礎

このモデルは、Meta-Llama-3.1-70B-Instructをベースに構築されています。 Wandbのリンク：https://wandb.ai/undis95/Lumi-Llama-3-1-70B?nw=nwuserundis95

バージョンアップ

Lumimaid 0.1から0.2へのアップデートは、データセット面で大きな進歩を見せています。ユーザーからモデルの出力が乱雑であるというフィードバックを受け、開発者は大部分の乱雑なチャットデータをクリーニングすることにしました。プロジェクト開始以来、データセットは常に更新されており、データの追加、クリーニングを繰り返しています。以前は満足できる結果が得られなかったため新モデルを公開していませんでしたが、今やチームは再び登場する時が来たと考えています！

プロンプトテンプレート

Llama-3-Instructのプロンプトテンプレートを採用しています：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{input}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

{output}<|eot_id|>

訓練データ

データセットを構築するために使用した訓練データのソースは以下の通りです：

• Epiculous/Gnosis
• ChaoticNeutrals/Luminous_Opus
• ChaoticNeutrals/Synthetic-Dark-RP
• ChaoticNeutrals/Synthetic-RP
• Gryphe/Sonnet3.5-SlimOrcaDedupCleaned
• Gryphe/Opus-WritingPrompts
• meseca/writing-opus-6k
• meseca/opus-instruct-9k
• PJMixers/grimulkan_theory-of-mind-ShareGPT
• NobodyExistsOnTheInternet/ToxicQAFinal
• Undi95/toxic-dpo-v0.1-sharegpt
• cgato/SlimOrcaDedupCleaned
• kalomaze/Opus_Instruct_25k
• Doctor-Shotgun/no-robots-sharegpt
• Norquinal/claude_multiround_chat_30k
• nothingiisreal/Claude-3-Opus-Instruct-15K
• すべてのAesirsデータセット（クリーニング済み、不要な内容を除去）
• すべてのle luminaeデータセット（クリーニング済み、不要な内容を除去）
• Airoborosの一部の精選データ

残念ながら、以下のデータセットのソースを見つけることができませんでした。もしあなたがこれらのデータセットの提供者である場合は、ご連絡ください！

• Opus_Instruct-v2-6.5K-Filtered-v2-sharegpt
• claude_sharegpt_trimmed
• CapybaraPure_Decontaminated-ShareGPT_reduced

🔗 関連者とサポート

貢献者

• Undi
• IkariDev

データセット貢献者

• Epiculous
• ChaoticNeutrals
• Gryphe
• meseca
• PJMixers
• NobodyExistsOnTheInternet
• cgato
• kalomaze
• Doctor-Shotgun
• Norquinal
• nothingiisreal

サポートとアクセス

• Undi：もし私たちをサポートしたい場合は、こちらをクリックしてください。
• IkariDev：私のレトロ/ニューシティスタイルのウェブサイトをご覧ください。

📄 ライセンス

このプロジェクトはCC BY-NC 4.0ライセンスを採用しています。

⚠️ 重要提示

このモデルのラベルにはnot-for-all-audiencesとnsfwが含まれています。ご使用には十分に注意してください。