Code Trans T5 Base Code Documentation Generation Javascript

🚀 用於JavaScript代碼文檔生成的CodeTrans模型

該模型基於t5-base架構，在JavaScript編程語言上進行預訓練，可用於生成JavaScript函數的描述或在其他JavaScript代碼任務上進行微調。它首次發佈於 此倉庫，在經過分詞的JavaScript代碼函數上進行訓練，因此在處理經過分詞的JavaScript函數時效果最佳。

🚀 快速開始

以下是使用Transformers的SummarizationPipeline調用此模型生成JavaScript函數文檔的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_javascript"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_javascript", skip_special_tokens=True),
    device=0
)

tokenized_code = "function isStandardBrowserEnv ( ) { if ( typeof navigator !== 'undefined' && ( navigator . product === 'ReactNative' || navigator . product === 'NativeScript' || navigator . product === 'NS' ) ) { return false ; } return ( typeof window !== 'undefined' && typeof document !== 'undefined' ) ; }"
pipeline([tokenized_code])

你可以在 Colab筆記本 中運行此示例。

✨ 主要特性

• 基於t5-base模型架構，擁有自己的SentencePiece詞彙模型。
• 在CodeSearchNet語料庫的JavaScript數據集上進行單任務訓練。
• 可用於未解析和未分詞的JavaScript代碼，但對經過分詞的代碼性能更佳。

📦 安裝指南

文檔未提及安裝相關內容，可參考 此倉庫 進行安裝。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_javascript"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_javascript", skip_special_tokens=True),
    device=0
)

tokenized_code = "function isStandardBrowserEnv ( ) { if ( typeof navigator !== 'undefined' && ( navigator . product === 'ReactNative' || navigator . product === 'NativeScript' || navigator . product === 'NS' ) ) { return false ; } return ( typeof window !== 'undefined' && typeof document !== 'undefined' ) ; }"
pipeline([tokenized_code])

📚 詳細文檔

模型描述

此CodeTrans模型基於t5-base模型，擁有自己的SentencePiece詞彙模型，並在CodeSearchNet語料庫的JavaScript數據集上進行單任務訓練。

預期用途和限制

該模型可用於生成JavaScript函數的描述，或在其他JavaScript代碼任務上進行微調。它可以處理未解析和未分詞的JavaScript代碼，但如果代碼經過分詞，性能會更好。

🔧 技術細節

該模型使用t5-base架構，在CodeSearchNet語料庫的JavaScript數據集上進行單任務訓練，擁有自己的SentencePiece詞彙模型。

📄 許可證

文檔未提及許可證相關信息。

📊 評估結果

對於代碼文檔任務，不同模型在不同編程語言上取得了以下BLEU分數結果：

由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 創建