Quickmt Zh En

🚀 quickmt-zh-en 神经机器翻译模型

quickmt-zh-en 是一个速度较快且准确性较高的神经机器翻译模型，用于将中文（zh）翻译成英文（en）。

🚀 快速开始

安装与下载

首先，安装 quickmt 并下载模型：

git clone https://github.com/quickmt/quickmt.git
pip install ./quickmt/

quickmt-model-download quickmt/quickmt-zh-en ./quickmt-zh-en

使用示例

from quickmt import Translator

# 自动检测 GPU，设置为 "cpu" 以强制使用 CPU 推理
t = Translator("./quickmt-zh-en/", device="auto")

# 翻译 - 将束搜索大小设置为 5 以获得更高质量（但速度较慢）
t(["他补充道：“我们现在有 4 个月大没有糖尿病的老鼠，但它们曾经得过该病。”"], beam_size=1)

# 通过采样获取替代翻译
# 您可以传递任何 cTranslate2 的 `translate_batch` 参数
t(["他补充道：“我们现在有 4 个月大没有糖尿病的老鼠，但它们曾经得过该病。”"], sampling_temperature=1.2, beam_size=1, sampling_topk=50, sampling_topp=0.9)

✨ 主要特性

• 该模型使用 eole 进行训练。
• 拥有 2 亿参数的 Transformer “大” 模型，包含 8 个编码器层和 2 个解码器层。
• 采用独立的源语言和目标语言 Sentencepiece 分词器。
• 已导出为 CTranslate2 格式，以实现快速推理。
• 训练数据：https://huggingface.co/datasets/quickmt/quickmt-train.zh-en/tree/main

更多详细信息请查看本仓库中的 eole 模型配置。

📦 安装指南

要使用 quickmt-zh-en 模型，您需要安装 quickmt 并下载该模型，具体命令如下：

git clone https://github.com/quickmt/quickmt.git
pip install ./quickmt/

quickmt-model-download quickmt/quickmt-zh-en ./quickmt-zh-en

💻 使用示例

基础用法

from quickmt import Translator

# 自动检测 GPU，设置为 "cpu" 以强制使用 CPU 推理
t = Translator("./quickmt-zh-en/", device="auto")

# 翻译 - 将束搜索大小设置为 1
t(["他补充道：“我们现在有 4 个月大没有糖尿病的老鼠，但它们曾经得过该病。”"], beam_size=1)

高级用法

from quickmt import Translator

t = Translator("./quickmt-zh-en/", device="auto")

# 通过采样获取替代翻译
# 您可以传递任何 cTranslate2 的 `translate_batch` 参数
t(["他补充道：“我们现在有 4 个月大没有糖尿病的老鼠，但它们曾经得过该病。”"], sampling_temperature=1.2, beam_size=1, sampling_topk=50, sampling_topp=0.9)

📚 详细文档

该模型以 ctranslate2 格式导出，分词器为 sentencepiece，因此您可以直接使用 ctranslate2 而不通过 quickmt 进行推理。此外，该模型也可以与使用 ctranslate2 和 sentencepiece 的 LibreTranslate 等工具配合使用。

🔧 技术细节

评估指标

使用 sacrebleu 在 Flores200 devtest 测试集 上计算 BLEU 和 CHRF2 指标（从 “zho_Hans” 到 “eng_Latn”）。使用 comet 库和 默认模型 计算 COMET22 指标。“Time (s)” 表示在 RTX 4070s GPU 上以批量大小 32 翻译 flores-devtest 数据集（1012 个句子）所需的时间（秒）。

quickmt-zh-en 是速度最快且质量最高的模型。

📄 许可证

本模型采用 CC BY 4.0 许可证。

📦 数据集与模型信息