Iris 7b

🚀 鳶尾花（Iris）模型

鳶尾花（Iris）是一款基於深度學習的韓英句子翻譯模型。它藉助先進的自然語言處理技術，實現韓語句子到英語或英語句子到韓語的翻譯。該模型經過訓練，能夠理解每種語言的語法、詞彙和上下文，並生成合適的翻譯結果。鳶尾花模型提供高效準確的翻譯服務，可應用於多種場景。

🚀 快速開始

代碼示例

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

repo = "davidkim205/iris-7b"
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.bfloat16, device_map='auto')
tokenizer = AutoTokenizer.from_pretrained(repo)

def generate(prompt):
    encoding = tokenizer(
        prompt,
        return_tensors='pt',
        return_token_type_ids=False
    ).to("cuda")
    gen_tokens = model.generate(
        **encoding,
        max_new_tokens=2048,
        temperature=1.0,
        num_beams=5,
    )
    prompt_end_size = encoding.input_ids.shape[1]
    result = tokenizer.decode(gen_tokens[0, prompt_end_size:])

    return result


def translate_ko2en(text):
    prompt = f"[INST] 다음 문장을 영어로 번역하세요.{text} [/INST]"
    return generate(prompt)


def translate_en2ko(text):
    prompt = f"[INST] 다음 문장을 한글로 번역하세요.{text} [/INST]"
    return generate(prompt)


def main():
    while True:
        text = input('>')
        en_text = translate_ko2en(text)
        ko_text = translate_en2ko(en_text)
        print('en_text', en_text)
        print('ko_text', ko_text)

if __name__ == "__main__":
    main()

輸出示例

$ python iris_test.py 
Downloading shards: 100%|█████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00,  4.72it/s]
Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████| 3/3 [00:02<00:00,  1.07it/s]
>아이리스는 딥러닝을 기반으로 한 한-영어 문장 번역을 위한 모델이다.
en_text Iris is a model for Korean-to-English sentence translation based on deep learning.</s>
ko_text 아이리스는 딥러닝을 기반으로 한 한국어-영어 문장 번역을 위한 모델이다.</s>

✨ 主要特性

• 基於深度學習技術，實現韓英句子的雙向翻譯。
• 能夠理解語言的語法、詞彙和上下文，生成準確的翻譯結果。
• 可應用於多種場景，提供高效的翻譯服務。

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示。

💻 使用示例

基礎用法

# 保持原始代碼和註釋不變
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

repo = "davidkim205/iris-7b"
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.bfloat16, device_map='auto')
tokenizer = AutoTokenizer.from_pretrained(repo)

# 其他代碼保持不變

高級用法

文檔未提供高級用法代碼示例，暫不展示。

📚 詳細文檔

模型詳情

模板

韓語到英語

[INST] 다음 문장을 영어로 번역하세요.{text} [/INST]

英語到韓語

"[INST] 다음 문장을 한글로 번역하세요.{text} [/INST]"

數據集信息：translation_v3_346k

由於許可問題，該數據集未公開。

有關AI Hub許可信息，請參考以下鏈接： AI Hub許可信息

評估

評估代碼倉庫：https://github.com/davidkim205/translation

🔧 技術細節

文檔未提供具體技術細節，暫不展示。

📄 許可證

本項目採用Apache - 2.0許可證。