pygemma-2b-ultra-plus-4開源Python編程助手 - 免費生成代碼並解答問題

首頁

Pygemma 2b Ultra Plus 4

由Menouar開發

基於google/gemma-2b微調的Python編程助手模型，專注於Python代碼生成與問題解答

大型語言模型

Transformers

英語開源協議:其他 #Python編程助手 #Gemma微調 #代碼生成

下載量 15

發布時間 : 3/23/2024

模型概述

這是一個專門為Python編程設計的語言模型，基於Gemma-2b架構微調，能夠幫助開發者解決Python相關問題並生成代碼片段

模型特點

Python專用優化

專門針對Python編程語言進行微調，能更好地理解和生成Python代碼

輕量級模型

基於20億參數的Gemma-2b架構，在保持性能的同時降低資源需求

LoRA微調

使用參數高效微調技術(LoRA)進行訓練，保留了基礎模型的大部分能力

模型能力

Python代碼生成

編程問題解答

代碼解釋

算法實現

使用案例

編程輔助

代碼片段生成

根據自然語言描述生成Python代碼片段

可生成函數、類等常見代碼結構

編程問題解答

解答Python相關的編程問題

提供準確的解釋和解決方案

教育

編程學習輔助

幫助初學者學習Python編程

提供示例代碼和解釋

🚀 pygemma-2b-ultra-plus-4

pygemma-2b-ultra-plus-4 是一個經過訓練的語言模型，可作為 Python 助手使用。它是 google/gemma-2b 的微調版本，使用 SFTTrainer 在公開可用的數據集 Vezora/Tested-143k-Python-Alpaca 上進行訓練。

✨ 主要特性

基於 google/gemma-2b 進行微調，專為 Python 編程輔助而設計。
在公開數據集上訓練，具備一定的泛化能力。

📚 詳細文檔

訓練指標

訓練指標可在 TensorBoard 上查看。

訓練超參數

以下是訓練過程中使用的超參數：

屬性	詳情
output_dir	peft-lora-model
overwrite_output_dir	True
do_train	False
do_eval	False
do_predict	False
evaluation_strategy	no
prediction_loss_only	False
per_device_train_batch_size	2
per_device_eval_batch_size	None
per_gpu_train_batch_size	None
per_gpu_eval_batch_size	None
gradient_accumulation_steps	4
eval_accumulation_steps	None
eval_delay	0
learning_rate	2e-05
weight_decay	0.0
adam_beta1	0.9
adam_beta2	0.999
adam_epsilon	1e-08
max_grad_norm	0.3
num_train_epochs	1
max_steps	-1
lr_scheduler_type	cosine
lr_scheduler_kwargs	{}
warmup_ratio	0.1
warmup_steps	0
log_level	passive
log_level_replica	warning
log_on_each_node	True
logging_dir	peft-lora-model/runs/Mar23_06-23-59_676c0e3f20e7
logging_strategy	steps
logging_first_step	False
logging_steps	10
logging_nan_inf_filter	True
save_strategy	epoch
save_steps	500
save_total_limit	None
save_safetensors	True
save_on_each_node	False
save_only_model	False
no_cuda	False
use_cpu	False
use_mps_device	False
seed	42
data_seed	None
jit_mode_eval	False
use_ipex	False
bf16	True
fp16	False
fp16_opt_level	O1
half_precision_backend	auto
bf16_full_eval	False
fp16_full_eval	False
tf32	None
local_rank	0
ddp_backend	None
tpu_num_cores	None
tpu_metrics_debug	False
debug	[]
dataloader_drop_last	False
eval_steps	None
dataloader_num_workers	0
dataloader_prefetch_factor	None
past_index	-1
run_name	peft-lora-model
disable_tqdm	False
remove_unused_columns	True
label_names	None
load_best_model_at_end	False
metric_for_best_model	None
greater_is_better	None
ignore_data_skip	False
fsdp	[]
fsdp_min_num_params	0
fsdp_config	{'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap	None
accelerator_config	AcceleratorConfig(split_batches=False, dispatch_batches=None, even_batches=True, use_seedable_sampler=True)
deepspeed	None
label_smoothing_factor	0.0
optim	adamw_torch_fused
optim_args	None
adafactor	False
group_by_length	False
length_column_name	length
report_to	['tensorboard']
ddp_find_unused_parameters	None
ddp_bucket_cap_mb	None
ddp_broadcast_buffers	None
dataloader_pin_memory	True
dataloader_persistent_workers	False
skip_memory_metrics	True
use_legacy_prediction_loop	False
push_to_hub	False
resume_from_checkpoint	None
hub_model_id	None
hub_strategy	every_save
hub_token	None
hub_private_repo	False
hub_always_push	False
gradient_checkpointing	True
gradient_checkpointing_kwargs	{'use_reentrant': False}
include_inputs_for_metrics	False
fp16_backend	auto
push_to_hub_model_id	None
push_to_hub_organization	None
push_to_hub_token	None
mp_parameters
auto_find_batch_size	False
full_determinism	False
torchdynamo	None
ray_scope	last
ddp_timeout	1800
torch_compile	False
torch_compile_backend	None
torch_compile_mode	None
dispatch_batches	None
split_batches	None
include_tokens_per_second	False
include_num_input_tokens_seen	False
neftune_noise_alpha	None
distributed_state	Distributed environment: NO Num processes: 1 Process index: 0 Local process index: 0 Device: cuda
_n_gpu	1
__cached__setup_devices	cuda:0
deepspeed_plugin	None