Sugoi V4 Ja En Ctranslate2

🚀 超棒v4日语->英语神经机器翻译模型 by MingShiba

本模型是一个强大的日语到英语的神经机器翻译（NMT）模型，由MingShiba开发。它能高效准确地完成日语到英语的翻译任务，适用于多种翻译场景。

相关链接

• 工具包官网
• 工具包博客
• Patreon支持页面

🚀 快速开始

📦 安装指南

使用Python下载模型

1. 安装Python，可从 Python官网 下载。
2. 打开命令提示符（cmd）。
3. 检查Python版本：

python --version

4. 安装huggingface_hub库：

python -m pip install huggingface_hub

5. 进入Python交互环境：

python

6. 在Python中执行以下代码下载模型：

import huggingface_hub
huggingface_hub.download_snapshot('entai2965/sugoi-v4-ja-en-ctranslate2',local_dir='sugoi-v4-ja-en-ctranslate2')

运行模型（批量语法）

1. 参考 CTranslate2与Fairseq的使用指南。
2. 打开命令提示符（cmd）。
3. 安装ctranslate2和sentencepiece库：

python -m pip install ctranslate2 sentencepiece

4. 进入Python交互环境：

python

💻 使用示例

基础用法

import ctranslate2
import sentencepiece

# 设置默认值
model_path='sugoi-v4-ja-en-ctranslate2'
sentencepiece_model_path=model_path+'/spm'

device='cpu'
# device='cuda'

# 加载数据
string1='は静かに前へと歩み出た。'
string2='悲しいGPTと話したことがありますか?'
raw_list=[string1,string2]

# 加载模型
translator = ctranslate2.Translator(model_path, device=device)
tokenizer_for_source_language = sentencepiece.SentencePieceProcessor(sentencepiece_model_path+'/spm.ja.nopretok.model')
tokenizer_for_target_language = sentencepiece.SentencePieceProcessor(sentencepiece_model_path+'/spm.en.nopretok.model')

# 批量分词
tokenized_batch=[]
for text in raw_list:
    tokenized_batch.append(tokenizer_for_source_language.encode(text,out_type=str))

# 翻译
# https://opennmt.net/CTranslate2/python/ctranslate2.Translator.html?#ctranslate2.Translator.translate_batch
translated_batch=translator.translate_batch(source=tokenized_batch,beam_size=5)
assert(len(raw_list)==len(translated_batch))

# 解码
for count,tokens in enumerate(translated_batch):
    translated_batch[count]=tokenizer_for_target_language.decode(tokens.hypotheses[0]).replace('<unk>','')

# 输出
for text in translated_batch:
    print(text)

高级用法（函数式编程版本）

import ctranslate2
import sentencepiece

# 设置默认值
model_path='sugoi-v4-ja-en-ctranslate2'
sentencepiece_model_path=model_path+'/spm'

device='cpu'
# device='cuda'

# 加载数据
string1='は静かに前へと歩み出た。'
string2='悲しいGPTと話したことがありますか?'
raw_list=[string1,string2]

# 加载模型
translator = ctranslate2.Translator(model_path, device=device)
tokenizer_for_source_language = sentencepiece.SentencePieceProcessor(sentencepiece_model_path+'/spm.ja.nopretok.model')
tokenizer_for_target_language = sentencepiece.SentencePieceProcessor(sentencepiece_model_path+'/spm.en.nopretok.model')

# 调用处理逻辑
translated_batch=[tokenizer_for_target_language.decode(tokens.hypotheses[0]).replace('<unk>','') for tokens in translator.translate_batch(source=[tokenizer_for_source_language.encode(text,out_type=str) for text in raw_list],beam_size=5)]
assert(len(raw_list)==len(translated_batch))

# 输出
for text in translated_batch:
    print(text)

📄 许可证

本模型采用其他许可证（ntt-license），具体许可信息请参考 LICENSE 文件。

模型信息