Iris 7b

🚀 アイリス (Iris)

アイリス (Iris) は、ディープラーニングに基づく韓国語と英語の文章翻訳を行うためのモデルです。高度な自然言語処理技術を利用して、韓国語の文章を英語に、または英語の文章を韓国語に翻訳することができます。このモデルは、各言語の文法、語彙、文脈を理解し、適切な翻訳を生成するように学習されています。アイリスは、効率的かつ正確な翻訳を提供し、様々なアプリケーションで使用することができます。

🚀 クイックスタート

このセクションでは、アイリス (Iris) モデルを使用して韓国語と英語の文章翻訳を行うための基本的な手順を説明します。

✨ 主な機能

• ディープラーニングに基づく韓国語 - 英語文章翻訳
• 高度な自然言語処理技術を利用した効率的かつ正確な翻訳
• 様々なアプリケーションでの使用可能

📦 インストール

以下のコードを使用して、必要なライブラリをインストールし、モデルをロードすることができます。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

repo = "davidkim205/iris-7b"
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.bfloat16, device_map='auto')
tokenizer = AutoTokenizer.from_pretrained(repo)

💻 使用例

基本的な使用法

def generate(prompt):
    encoding = tokenizer(
        prompt,
        return_tensors='pt',
        return_token_type_ids=False
    ).to("cuda")
    gen_tokens = model.generate(
        **encoding,
        max_new_tokens=2048,
        temperature=1.0,
        num_beams=5,
    )
    prompt_end_size = encoding.input_ids.shape[1]
    result = tokenizer.decode(gen_tokens[0, prompt_end_size:])

    return result


def translate_ko2en(text):
    prompt = f"[INST] 다음 문장을 영어로 번역하세요.{text} [/INST]"
    return generate(prompt)


def translate_en2ko(text):
    prompt = f"[INST] 다음 문장을 한글로 번역하세요.{text} [/INST]"
    return generate(prompt)


def main():
    while True:
        text = input('>')
        en_text = translate_ko2en(text)
        ko_text = translate_en2ko(en_text)
        print('en_text', en_text)
        print('ko_text', ko_text)

if __name__ == "__main__":
    main()

出力例

$ python iris_test.py 
Downloading shards: 100%|█████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00,  4.72it/s]
Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████| 3/3 [00:02<00:00,  1.07it/s]
>아이리스는 딥러닝을 기반으로 한 한-영어 문장 번역을 위한 모델이다.
en_text Iris is a model for Korean-to-English sentence translation based on deep learning.</s>
ko_text 아이리스는 딥러닝을 기반으로 한 한국어-영어 문장 번역을 위한 모델이다.</s>

📚 ドキュメント

テンプレート

韓国語 -> 英語

[INST] 다음 문장을 영어로 번역하세요.{text} [/INST]

英語 -> 韓国語

"[INST] 다음 문장을 한글로 번역하세요.{text} [/INST]"

データセット情報 : translation_v3_346k

このデータセットは、ライセンスの問題で公開されていません。

aihubのライセンス情報については、以下のURLを参照してください。 https://aihub.or.kr/partcptnmlrd/inqry/view.do?currMenu=144&topMenu=104

評価

評価結果については、こちらを参照してください。

🔧 技術詳細

モデル詳細

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下でライセンスされています。