L3.3 - 70B - Euryale - v2.3オープンソース大規模言語モデル - 対話とクリエイティブコンテンツ作成を無料でサポート

ホーム

L3.3 70B Euryale V2.3

Sao10Kによって開発

Llama 3.3 Instructをベースに訓練された700億パラメータの大規模言語モデルで、対話生成とクリエイティブコンテンツ作成に特化

大規模言語モデル

Transformers

#長文生成 #クリエイティブライティング #ロールプレイング

ダウンロード数 1,274

リリース時間 : 12/7/2024

モデル概要

Euryale v2.3はLlama 3.3 Instructをベースに訓練された大規模言語モデルで、人気のLora抽出法ではなく全パラメータ微調整を採用しています。対話生成とクリエイティブコンテンツ作成において優れた性能を発揮し、長文脈処理（16kトークン）をサポートします。

モデル特徴

全パラメータ微調整

人気のLora抽出法ではなく全パラメータ微調整を採用し、より優れたモデル性能を得られる可能性があります

長文脈サポート

16,384トークンの文脈長をサポートし、長文書や複雑な対話処理に適しています

複数データセット融合訓練

非アラインメントデータ、ロールプレイデータ、コマンドデータを融合し、モデルの多様性と適応性を向上

最適化推論設定

検証済みの推奨推論パラメータ（温度1.1、min_p 0.1）を提供し、生成品質を保証

モデル能力

テキスト生成

対話システム

クリエイティブライティング

ロールプレイング

コマンドフォロー

使用事例

クリエイティブライティング

ストーリー創作

一貫性があり創造性豊かなストーリー展開とキャラクター対話を生成

対話システム

インテリジェントアシスタント

インテリジェント対話アシスタントとして、情報検索や日常会話機能を提供

ロールプレイング

キャラクターインタラクション

特定キャラクターの言語スタイルや行動パターンを模倣してインタラクション

🚀 L3.3-70B-Euryale-v2.3

このモデルは、Euryale v2.2 の直接的な代替品/後継モデルです。Hanami-x1 ではありませんが、私の意見ではこれらよりも少し優れています。このモデルは、Llama 3.3 Instruct をベースに完全にトレーニングされており、現在流行している Lora 抽出方式ではありません。

eury

🚀 クイックスタート

推奨モデル設定

注: 私はこれらの設定を使っていますが、十分に機能します。DRY や他のサンプラーの仕組みはわかりません。とにかく、システムプロンプトの方が重要です。

Prompt Format: Llama-3-Instruct
Temperature: 1.1
min_p: 0.1

📚 ドキュメント

将来的な計画

データセットの品質をさらに向上させるために、二次的なチャットやクリエイティブ関連のドメインのデータを追加する。
他の未完了のプロジェクトに取り組む。これまでに約半ダースのプロジェクトが保留中です。

連絡先

詳細については、こちらから連絡できます。

謝辞

このプロジェクトに資金を提供してくれた私の財布、共同作業をしてくれた同僚、そして現在の兵役に感謝します。

活動停止について

活動停止について申し訳ありません。生活上の問題が原因でした。現在は少し改善していますが、倦怠感はあります。

🔧 技術詳細

モデル情報

属性	详情
ライブラリ名	transformers
ライセンス	llama3
ベースモデル	meta-llama/Llama-3.3-70B-Instruct
タグ	generated_from_trainer
モデル名	L3.3-70B-Euryale-v2.3

Axolotl設定

Axolotl設定を表示

Axolotlバージョン: 0.5.2

base_model: meta-llama/Llama-3.3-70B-Instruct
model_type: AutoModelForCausalLM
tokenizer_type: AutoTokenizer

load_in_8bit: false
load_in_4bit: false
strict: false
sequence_len: 16384
bf16: auto
fp16:
tf32: false
flash_attention: true

adapter: lora
lora_model_dir:
lora_r: 128
lora_alpha: 16
lora_dropout: 0.1
lora_target_linear: true
lora_fan_in_fan_out:
peft_use_rslora: true

# データ
dataset_prepared_path: last_run_prepared
datasets:
  - path: datasets/amoral-full-sys-prompt.json # Unalignment Data - Cleaned Up from Original, Split to its own file
    type: customllama3
  - path: datasets/mimi-superfix-RP-filtered-fixed.json # RP / Creative-Instruct Data
    type: customllama3
  - path: datasets/hespera-smartshuffle.json # Hesperus-v2-Instruct Data
    type: customllama3
warmup_steps: 15

plugins:
  - axolotl.integrations.liger.LigerPlugin
liger_rope: true
liger_rms_norm: true
liger_layer_norm: true
liger_glu_activation: true
liger_fused_linear_cross_entropy: true

# イテレーション
num_epochs: 1

# バッチ処理
gradient_accumulation_steps: 4
micro_batch_size: 1
gradient_checkpointing: "unsloth"

# オプティマイザ
optimizer: paged_ademamix_8bit
lr_scheduler: cosine
learning_rate: 0.000004
weight_decay: 0.1
max_grad_norm: 25.0

# イテレーション
num_epochs: 1

# その他
deepspeed: ./deepspeed_configs/zero3_bf16.json

画像クレジット

Art by てぃあ
https://www.pixiv.net/en/users/724263

📄 ライセンス

このモデルは llama3 ライセンスの下で提供されています。

おすすめAIモデル

Llama 3 Typhoon V1.5x 8b Instruct

タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化

Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。

Roberta Base Chinese Extractive Qa

RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。

質問応答システム中国語

uer

2,694

未来を切り開く、あなたのAIソリューション知識ベース

English 简体中文繁體中文にほんご