🚀 pygemma-2b-ultra-plus-4
pygemma-2b-ultra-plus-4 は、Pythonアシスタントとして機能するように学習された言語モデルです。これは、google/gemma-2b をファインチューニングしたバージョンで、公開されているデータセット Vezora/Tested-143k-Python-Alpaca を使用して SFTTrainer で学習されました。
🚀 クイックスタート
このモデルは、Pythonに関する一般的な質問に答えるのに役立ちます。以下のウィジェットの例を参考に、モデルを使ってみてください。
ウィジェット例
- 例のタイトル: Compute Sum
- メッセージ:
- システムロール: Welcome to PyGemma, your AI-powered Python assistant. I'm here to help you answer common questions about the Python programming language. Let's dive into Python!
- ユーザーロール: Create a function to calculate the sum of a sequence of integers.
✨ 主な機能
- Pythonアシスタントとして機能し、Pythonに関する質問に答えます。
google/gemma-2b をベースにファインチューニングされています。- 公開データセットを使用して学習されています。
📚 ドキュメント
学習メトリクス
学習メトリクスは TensorBoard で確認できます。
学習ハイパーパラメータ
学習中に使用されたハイパーパラメータは以下の通りです。
| 属性 |
詳細 |
| output_dir |
peft-lora-model |
| overwrite_output_dir |
True |
| do_train |
False |
| do_eval |
False |
| do_predict |
False |
| evaluation_strategy |
no |
| prediction_loss_only |
False |
| per_device_train_batch_size |
2 |
| per_device_eval_batch_size |
None |
| per_gpu_train_batch_size |
None |
| per_gpu_eval_batch_size |
None |
| gradient_accumulation_steps |
4 |
| eval_accumulation_steps |
None |
| eval_delay |
0 |
| learning_rate |
2e-05 |
| weight_decay |
0.0 |
| adam_beta1 |
0.9 |
| adam_beta2 |
0.999 |
| adam_epsilon |
1e-08 |
| max_grad_norm |
0.3 |
| num_train_epochs |
1 |
| max_steps |
-1 |
| lr_scheduler_type |
cosine |
| lr_scheduler_kwargs |
{} |
| warmup_ratio |
0.1 |
| warmup_steps |
0 |
| log_level |
passive |
| log_level_replica |
warning |
| log_on_each_node |
True |
| logging_dir |
peft-lora-model/runs/Mar23_06-23-59_676c0e3f20e7 |
| logging_strategy |
steps |
| logging_first_step |
False |
| logging_steps |
10 |
| logging_nan_inf_filter |
True |
| save_strategy |
epoch |
| save_steps |
500 |
| save_total_limit |
None |
| save_safetensors |
True |
| save_on_each_node |
False |
| save_only_model |
False |
| no_cuda |
False |
| use_cpu |
False |
| use_mps_device |
False |
| seed |
42 |
| data_seed |
None |
| jit_mode_eval |
False |
| use_ipex |
False |
| bf16 |
True |
| fp16 |
False |
| fp16_opt_level |
O1 |
| half_precision_backend |
auto |
| bf16_full_eval |
False |
| fp16_full_eval |
False |
| tf32 |
None |
| local_rank |
0 |
| ddp_backend |
None |
| tpu_num_cores |
None |
| tpu_metrics_debug |
False |
| debug |
[] |
| dataloader_drop_last |
False |
| eval_steps |
None |
| dataloader_num_workers |
0 |
| dataloader_prefetch_factor |
None |
| past_index |
-1 |
| run_name |
peft-lora-model |
| disable_tqdm |
False |
| remove_unused_columns |
True |
| label_names |
None |
| load_best_model_at_end |
False |
| metric_for_best_model |
None |
| greater_is_better |
None |
| ignore_data_skip |
False |
| fsdp |
[] |
| fsdp_min_num_params |
0 |
| fsdp_config |
{'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} |
| fsdp_transformer_layer_cls_to_wrap |
None |
| accelerator_config |
AcceleratorConfig(split_batches=False, dispatch_batches=None, even_batches=True, use_seedable_sampler=True) |
| deepspeed |
None |
| label_smoothing_factor |
0.0 |
| optim |
adamw_torch_fused |
| optim_args |
None |
| adafactor |
False |
| group_by_length |
False |
| length_column_name |
length |
| report_to |
['tensorboard'] |
| ddp_find_unused_parameters |
None |
| ddp_bucket_cap_mb |
None |
| ddp_broadcast_buffers |
None |
| dataloader_pin_memory |
True |
| dataloader_persistent_workers |
False |
| skip_memory_metrics |
True |
| use_legacy_prediction_loop |
False |
| push_to_hub |
False |
| resume_from_checkpoint |
None |
| hub_model_id |
None |
| hub_strategy |
every_save |
| hub_token |
None |
| hub_private_repo |
False |
| hub_always_push |
False |
| gradient_checkpointing |
True |
| gradient_checkpointing_kwargs |
{'use_reentrant': False} |
| include_inputs_for_metrics |
False |
| fp16_backend |
auto |
| push_to_hub_model_id |
None |
| push_to_hub_organization |
None |
| push_to_hub_token |
None |
| mp_parameters |
|
| auto_find_batch_size |
False |
| full_determinism |
False |
| torchdynamo |
None |
| ray_scope |
last |
| ddp_timeout |
1800 |
| torch_compile |
False |
| torch_compile_backend |
None |
| torch_compile_mode |
None |
| dispatch_batches |
None |
| split_batches |
None |
| include_tokens_per_second |
False |
| include_num_input_tokens_seen |
False |
| neftune_noise_alpha |
None |
| distributed_state |
Distributed environment: NO
Num processes: 1
Process index: 0
Local process index: 0
Device: cuda |
| _n_gpu |
1 |
| __cached__setup_devices |
cuda:0 |
| deepspeed_plugin |
None |
📄 ライセンス
このモデルは gemma-terms-of-use のライセンスの下で提供されています。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応