Easy Ko Llama3 8b Instruct V1

🚀 Easy-Systems/easy-ko-Llama3-8b-Instruct-v1

イージーシステムの初のLLMモデルであるeasy-ko-Llama3-8b-Instruct-v1は、英語ベースのモデルであるmeta-llama/Meta-Llama-3-8B-Instructをベースに、韓国語でファインチューニングされたモデルです。 LLMモデルは今後も継続的に更新される予定です。

DALL-Eで生成された画像です。

🚀 クイックスタート

このモデルは、meta-llama/Meta-Llama-3-8B-Instructをベースに韓国語でファインチューニングされています。以下のセクションでは、データの使用方法やモデルのライセンスについて説明します。

✨ 主な機能

• 韓国語でのテキスト生成が可能です。
• 今後も継続的に更新される予定です。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Easy-Systems/easy-ko-Llama3-8b-Instruct-v1"

model = AutoModelForCausalLM.from_pretrained(model_id,                                            
                                             attn_implementation="flash_attention_2",
                                             torch_dtype=torch.bfloat16,
                                             device_map="auto")

tokenizer = AutoTokenizer.from_pretrained(model_id, add_special_tokens=True)

prompt="리눅스 프로세스를 강제로 종료하는 방법은?"
messages = [  
    {"role": "system", "content": "당신은 친절한 AI chatbot 입니다. 요청에 대해서 step-by-step 으로 간결하게 한국어(Korean)로 답변해주세요."},
    {"role": "user", "content": f"\n\n### 명령어: {prompt}\n\n### 응답:"}   
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=1024,
    eos_token_id=terminators,
    pad_token_id=tokenizer.eos_token_id,
    do_sample=True,
    temperature=0.2,
    repetition_penalty = 1.3,
    top_p=0.9,
    top_k=10,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True).strip())

出力例

리눅스의 경우、 `kill` または `pkill` コマンドを使用して特定のプロセスを強制終了できます。

1段階: ps -ef | grep <プロセス_名前>`で現在実行中のすべてのプロセスが表示されます。
2段階: kill <プロセス_ID>`を入力すると、該当のプロセスがすぐに終了します。

または、`-9`(SIGKILL信号)を指定してプロセスを強制終了することもでき、これはオペレーティングシステムが正常に終了する前に、最後の機会を与えずにすぐに終了します:

3段階: kill -9 <プロセス_ID>`を入力します。

なお、システムの安定のために必要なファイルやサービスがある場合は、直接削除しないでください。適切な権限と指示に従って処理する必要があります。また、一部のプログラムでは、強制終了時にデータ損失などの問題が発生する可能性があるため、事前に保存された作業内容などを確認してから終了してください。 

📚 ドキュメント

データ

• AI hub (https://www.aihub.or.kr/) のデータを様々なタスク (QA、要約、翻訳など)に加工して、ファインチューニングに使用しました。
• 社内で独自に加工したデータをファインチューニングに使用しました。

📄 ライセンス

• Creative Commons Attribution-NonCommercial-ShareAlike 4.0 (CC-BY-NC-SA-4.0)
• 商用利用の場合は、以下の連絡先にご相談ください。

連絡先

• 商用利用やその他のお問い合わせについては、次のメールアドレスにご連絡ください。
• 강현구: hkkang@easy.co.kr