サンスクリット-qwen-7B-Translateオープンソースモデル - 梵語の理解と翻訳能力を最適化！無料でデプロイ可能！

ホーム

Sanskrit Qwen 7B Translate

diabolic6045によって開発

Qwen2.5-7Bをファインチューニングしたサンスクリット専用モデルで、サンスクリットの理解と翻訳能力を最適化

大規模言語モデル

Transformers

オープンソースライセンス:Apache-2.0 #サンスクリット翻訳 #低リソース最適化 #マルチタスクファインチューニング

ダウンロード数 229

リリース時間 : 3/5/2025

モデル概要

このモデルはQwen/Qwen2.5-7B-Instruct-1Mをファインチューニングしたバージョンで、サンスクリットの理解と翻訳タスクに特化して訓練され、サンスクリットテキスト処理能力を強化しています。

モデル特徴

サンスクリット最適化

カスタムサンスクリットデータセットでファインチューニングし、サンスクリット処理能力を特別に最適化

バイリンガル翻訳

サンスクリットと英語間の双方向翻訳タスクをサポート

効率的なファインチューニング

QLoRA技術を使用したパラメータ効率的なファインチューニングで、ベースモデルの能力を維持しながらサンスクリット性能を向上

モデル能力

サンスクリットテキスト理解

サンスクリットテキスト生成

サンスクリット-英語翻訳

英語-サンスクリット翻訳

使用事例

言語翻訳

サンスクリット文献翻訳

古代サンスクリット文献を現代英語に翻訳

バイリンガルコンテンツ作成

サンスクリットと英語のバイリンガルコンテンツを生成

学術研究

サンスクリットテキスト分析

サンスクリット言語学と文献学研究を支援

🚀 Sanskrit-qwen-7B-Translate

このモデルは、サンスクリット語のタスクに最適化された、Qwen/Qwen2.5-7B-Instruct-1M のファインチューニング版です。

🚀 クイックスタート

このモデルは、サンスクリット語の理解と翻訳タスクに特化して訓練された、Qwen 2.5 7B モデルのマージバージョンです。サンスクリット語のテキストを扱う能力を高めるために、独自のサンスクリット語データセットで訓練されています。

✨ 主な機能

想定される用途

サンスクリット語のテキスト理解と生成
サンスクリット語 - 英語の翻訳タスク
サンスクリット語の言語処理

制限事項

サンスクリット語のテキストの複雑さによって、性能が異なる場合があります。
モデルは倫理的および法的なガイドラインの範囲内で使用する必要があります。

📦 インストール

このセクションでは、READMEにインストール手順が記載されていないため、省略されています。

💻 使用例

このセクションでは、READMEにコード例が記載されていないため、省略されています。

📚 ドキュメント

訓練データ

モデルは、diabolic6045/Sanskrit-llama データセットで訓練されました。

訓練手順

訓練の詳細

ベースモデル: Qwen/Qwen2.5-7B-Instruct-1M
訓練タイプ: ファインチューニング
ハードウェア: マルチGPU設定
訓練パラメータ:
- 学習率: 2e-05
- エポック数: 1
- バッチサイズ: 2 (合計)
- オプティマイザ: AdamW
- LRスケジューラ: ウォームアップ付きコサイン

フレームワークのバージョン

Transformers 4.49.0
Pytorch 2.5.1+cu121
Datasets 3.2.0
Tokenizers 0.21.0

axolotlの設定を表示

axolotlのバージョン: 0.8.0.dev0

base_model: Qwen/Qwen2.5-7B-Instruct-1M
load_in_8bit: false
load_in_4bit: true
strict: false

datasets:
  - path: diabolic6045/Sanskrit-llama
    type: alpaca
dataset_prepared_path:
val_set_size: 0
output_dir: ./outputs/qlora-out

adapter: qlora
lora_model_dir:

sequence_len: 1024
sample_packing: true
eval_sample_packing: false
pad_to_sequence_len: true

lora_r: 32
lora_alpha: 16
lora_dropout: 0.05
lora_target_modules:
lora_target_linear: true
lora_fan_in_fan_out:

hub_model_id: Sanskrit-qwen-8B

wandb_project: संस्कृतम्-llama
wandb_entity: 
wandb_watch: all
wandb_name: संस्कृतम्-llama
wandb_log_model: 

gradient_accumulation_steps: 1
micro_batch_size: 1
num_epochs: 1
optimizer: paged_adamw_8bit
lr_scheduler: cosine
cosine_min_lr_ratio: 0.2
learning_rate: 2e-5

train_on_inputs: false
group_by_length: false
bf16: false
fp16:
tf32: false

gradient_checkpointing: true
early_stopping_patience:
resume_from_checkpoint:
local_rank:
logging_steps: 1
xformers_attention:
flash_attention: false

#gpu_memory_limit: 20GiB
#lora_on_cpu: true         

warmup_steps: 10
evals_per_epoch: 4
saves_per_epoch: 1
debug:
deepspeed: deepspeed_configs/zero1.json
weight_decay: 0.0
special_tokens:
   pad_token: <|end_of_text|>