Code Trans T5 Base Code Documentation Generation Javascript

🚀 用于JavaScript代码文档生成的CodeTrans模型

该模型基于t5-base架构，在JavaScript编程语言上进行预训练，可用于生成JavaScript函数的描述或在其他JavaScript代码任务上进行微调。它首次发布于 此仓库，在经过分词的JavaScript代码函数上进行训练，因此在处理经过分词的JavaScript函数时效果最佳。

🚀 快速开始

以下是使用Transformers的SummarizationPipeline调用此模型生成JavaScript函数文档的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_javascript"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_javascript", skip_special_tokens=True),
    device=0
)

tokenized_code = "function isStandardBrowserEnv ( ) { if ( typeof navigator !== 'undefined' && ( navigator . product === 'ReactNative' || navigator . product === 'NativeScript' || navigator . product === 'NS' ) ) { return false ; } return ( typeof window !== 'undefined' && typeof document !== 'undefined' ) ; }"
pipeline([tokenized_code])

你可以在 Colab笔记本 中运行此示例。

✨ 主要特性

• 基于t5-base模型架构，拥有自己的SentencePiece词汇模型。
• 在CodeSearchNet语料库的JavaScript数据集上进行单任务训练。
• 可用于未解析和未分词的JavaScript代码，但对经过分词的代码性能更佳。

📦 安装指南

文档未提及安装相关内容，可参考 此仓库 进行安装。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_javascript"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_javascript", skip_special_tokens=True),
    device=0
)

tokenized_code = "function isStandardBrowserEnv ( ) { if ( typeof navigator !== 'undefined' && ( navigator . product === 'ReactNative' || navigator . product === 'NativeScript' || navigator . product === 'NS' ) ) { return false ; } return ( typeof window !== 'undefined' && typeof document !== 'undefined' ) ; }"
pipeline([tokenized_code])

📚 详细文档

模型描述

此CodeTrans模型基于t5-base模型，拥有自己的SentencePiece词汇模型，并在CodeSearchNet语料库的JavaScript数据集上进行单任务训练。

预期用途和限制

该模型可用于生成JavaScript函数的描述，或在其他JavaScript代码任务上进行微调。它可以处理未解析和未分词的JavaScript代码，但如果代码经过分词，性能会更好。

🔧 技术细节

该模型使用t5-base架构，在CodeSearchNet语料库的JavaScript数据集上进行单任务训练，拥有自己的SentencePiece词汇模型。

📄 许可证

文档未提及许可证相关信息。

📊 评估结果

对于代码文档任务，不同模型在不同编程语言上取得了以下BLEU分数结果：

由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 创建