Llama3.1 Korean V0.1 Sft By Aidx

🚀 クイックスタート

このモデルは、llama3.1 instructを基礎モデルとし、韓国語と韓国の様々な文化に適用できるように開発されました。独自に制作した53領域の韓国語データを活用し、韓国の社会価値と文化を理解するモデルです。Thanks for ktds ✌

✨ 主な機能

このモデルは、韓国語と韓国の文化に特化しており、様々な分野での応用が可能です。具体的には以下のような分野での利用が想定されます。

• 教育分野: 歴史、数学、科学など様々な学習資料に関する質問応答や説明の生成。
• ビジネス: 法律、財務、税務関連の質問に対する回答の提供や文書の要約。
• 研究と文化: 韓国社会と文化に合わせた自然言語処理作業、感情分析、文書生成や翻訳。
• 顧客サービス: ユーザーとの対話の生成やカスタマイズされた応答の提供。

📦 インストール

このセクションでは、モデルのインストールに関する情報は提供されていません。

💻 使用例

基本的な使用法

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("SEOKDONG/llama3.1_korean_v0.1_sft_by_aidx")
model = AutoModel.from_pretrained("SEOKDONG/llama3.1_korean_v0.1_sft_by_aidx")

input_text =  """ 「국민건강보험법」제44조, 「국민건강보험법 시행령」제19조,「약관의 규제에 관한 법률」제5조, 「상법」제54조 참조 판단 해줘"""
inputs = tokenizer(input_text, return_tensors="pt")
with torch.no_grad():
    outputs = model.generate(**inputs, max_length=1024,  temperature=0.5, do_sample=True, repetition_penalty=1.15)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

📚 ドキュメント

学習データ

このモデルは、独自開発した合計3.6GBのデータを基に学習されました。全部で233万件のQ&A、要約、分類などのデータが含まれており、そのうち133万件は53の領域の選択問題で構成されています。これらの領域には、韓国史、社会、財務、法律、税務、数学、生物学、物理学、化学などが含まれ、Chain of Thought方式で学習されました。また、130万件の主観的な質問は、韓国史、財務、法律、税務、数学など38の領域にわたって学習されました。学習データの中には、韓国の社会価値や人間の感情を理解し、指示された内容に応じて出力できるデータも学習されています。

• 学習Instruction Datasets Format:

  {"prompt": "prompt text", "completion": "ideal generated text"}

モデルの限界

このモデルは韓国語と韓国の文化に特化していますが、特定の領域（例えば、最新の国際資料や専門分野）のデータ不足のため、他の言語や文化に対する応答の精度が低下する可能性があります。また、複雑な論理的思考を必要とする問題に対しては、推論能力に制限があり、偏ったデータが含まれる場合、偏った応答が生成される可能性もあります。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で公開されています。

📋 モデル情報