Iris 7b

🚀 鸢尾花（Iris）模型

鸢尾花（Iris）是一款基于深度学习的韩英句子翻译模型。它借助先进的自然语言处理技术，实现韩语句子到英语或英语句子到韩语的翻译。该模型经过训练，能够理解每种语言的语法、词汇和上下文，并生成合适的翻译结果。鸢尾花模型提供高效准确的翻译服务，可应用于多种场景。

🚀 快速开始

代码示例

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

repo = "davidkim205/iris-7b"
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.bfloat16, device_map='auto')
tokenizer = AutoTokenizer.from_pretrained(repo)

def generate(prompt):
    encoding = tokenizer(
        prompt,
        return_tensors='pt',
        return_token_type_ids=False
    ).to("cuda")
    gen_tokens = model.generate(
        **encoding,
        max_new_tokens=2048,
        temperature=1.0,
        num_beams=5,
    )
    prompt_end_size = encoding.input_ids.shape[1]
    result = tokenizer.decode(gen_tokens[0, prompt_end_size:])

    return result


def translate_ko2en(text):
    prompt = f"[INST] 다음 문장을 영어로 번역하세요.{text} [/INST]"
    return generate(prompt)


def translate_en2ko(text):
    prompt = f"[INST] 다음 문장을 한글로 번역하세요.{text} [/INST]"
    return generate(prompt)


def main():
    while True:
        text = input('>')
        en_text = translate_ko2en(text)
        ko_text = translate_en2ko(en_text)
        print('en_text', en_text)
        print('ko_text', ko_text)

if __name__ == "__main__":
    main()

输出示例

$ python iris_test.py 
Downloading shards: 100%|█████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00,  4.72it/s]
Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████| 3/3 [00:02<00:00,  1.07it/s]
>아이리스는 딥러닝을 기반으로 한 한-영어 문장 번역을 위한 모델이다.
en_text Iris is a model for Korean-to-English sentence translation based on deep learning.</s>
ko_text 아이리스는 딥러닝을 기반으로 한 한국어-영어 문장 번역을 위한 모델이다.</s>

✨ 主要特性

• 基于深度学习技术，实现韩英句子的双向翻译。
• 能够理解语言的语法、词汇和上下文，生成准确的翻译结果。
• 可应用于多种场景，提供高效的翻译服务。

📦 安装指南

文档未提供具体安装步骤，暂不展示。

💻 使用示例

基础用法

# 保持原始代码和注释不变
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

repo = "davidkim205/iris-7b"
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.bfloat16, device_map='auto')
tokenizer = AutoTokenizer.from_pretrained(repo)

# 其他代码保持不变

高级用法

文档未提供高级用法代码示例，暂不展示。

📚 详细文档

模型详情

模板

韩语到英语

[INST] 다음 문장을 영어로 번역하세요.{text} [/INST]

英语到韩语

"[INST] 다음 문장을 한글로 번역하세요.{text} [/INST]"

数据集信息：translation_v3_346k

由于许可问题，该数据集未公开。

有关AI Hub许可信息，请参考以下链接： AI Hub许可信息

评估

评估代码仓库：https://github.com/davidkim205/translation

🔧 技术细节

文档未提供具体技术细节，暂不展示。

📄 许可证

本项目采用Apache - 2.0许可证。