Codet5 Small Generate Docstrings For Python Condensed

🚀 代碼T5小模型 - 為Python生成精簡文檔字符串

本模型旨在解決為Python函數生成文檔字符串的問題，它基於預訓練模型微調而來，能高效準確地根據輸入的函數生成對應的文檔字符串，為代碼的理解和維護提供了極大的便利。

🚀 快速開始

本模型是 Salesforce/codet5-small 在特定數據集上的微調版本。它在評估集上取得了以下結果：

• 損失值：2.1444
• Rouge1：0.3828
• Rouge2：0.2214
• Rougel：0.3583
• Rougelsum：0.3661
• 生成長度：12.6656

✨ 主要特性

• 功能明確：該模型經過訓練，能夠根據輸入的函數預測其對應的文檔字符串（輸出）。
• 訓練優化：為了加快在消費級硬件上的訓練速度，對一些較長的樣本進行了修剪。

📚 詳細文檔

模型描述

此模型用於預測函數（輸入）的文檔字符串（輸出）。有關其創建方式的更多信息，請查看以下鏈接：https://github.com/DunnBC22/NLP_Projects/blob/main/Generate%20Docstrings/Smol%20Dataset/Code_T5_Project-Small%20Checkpoint.ipynb

預期用途和限制

該模型旨在展示使用技術解決複雜問題的能力。

訓練和評估數據

數據集來源：calum/the-stack-smol-python-docstrings（來自Hugging Face數據集；https://huggingface.co/datasets/calum/the-stack-smol-python-docstrings）

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率：2e - 05
• 訓練批次大小：16
• 評估批次大小：16
• 隨機種子：42
• 優化器：Adam，其中betas = (0.9, 0.999)，epsilon = 1e - 08
• 學習率調度器類型：線性
• 訓練輪數：4

訓練結果

框架版本

• Transformers 4.26.1
• Pytorch 1.12.1
• Datasets 2.9.0
• Tokenizers 0.12.1

📄 許可證

本項目採用Apache 2.0許可證。