Llama3.1 Korean V1.6 Sft By Aidx

🚀 SEOKDONG/llama3.0_korean_v1.0_sft

このモデルは、LlaMA3.1を基礎モデルとして、韓国語と韓国の様々な文化に適用できるように開発されました。独自に制作した53領域の韓国語データを活用し、韓国社会の価値と文化を理解するモデルです。

🚀 クイックスタート

このモデルを使用するには、以下のコードを参考にしてください。

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("SEOKDONG/llama3.0_korean_v1.0_sft")
model = AutoModel.from_pretrained("SEOKDONG/llama3.0_korean_v1.0_sft")

input_text =  """ 「국민건강보험법」제44조, 「국민건강보험법 시행령」제19조,「약관의 규제에 관한 법률」제5조, 「상법」제54조 참조 판단 해줘""" + " 답변:"
inputs = tokenizer(input_text, return_tensors="pt")
with torch.no_grad():
    outputs = model.generate(**inputs, max_length=1024,  temperature=0.5, do_sample=True, repetition_penalty=1.15)

result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

✨ 主な機能

• テキスト生成：様々な文脈で自然なテキストを生成します。
• 対話推論：ユーザーの質問に適切な回答を生成します。
• 文書要約：長文の文書を要約し、要点を抽出します。
• 質疑応答：様々な分野の質問に回答します。
• 感情分析：テキストの感情傾向を分析します。
• 自然言語処理：様々な自然言語処理タスクに対応します。

📦 インストール

このモデルはtransformersライブラリを使用しています。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("SEOKDONG/llama3.0_korean_v1.0_sft")
model = AutoModel.from_pretrained("SEOKDONG/llama3.0_korean_v1.0_sft")

input_text =  """ 「국민건강보험법」제44조, 「국민건강보험법 시행령」제19조,「약관의 규제에 관한 법률」제5조, 「상법」제54조 참조 판단 해줘""" + " 답변:"
inputs = tokenizer(input_text, return_tensors="pt")
with torch.no_grad():
    outputs = model.generate(**inputs, max_length=1024,  temperature=0.5, do_sample=True, repetition_penalty=1.15)

result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

📚 ドキュメント

モデルの詳細

• モデル名：SEOKDONG/llama3.0_korean_v1.0_sft
• ベースモデル：meta-llama/Llama-3.1-8B-Instruct
• パラメータ数：80億個(8B)
• 学習データ：独自開発した3.6GBのデータ（233万件のQnA、要約、分類データを含む）
• 学習方法：SFT(教師付き微調整)方式

学習データ

• このモデルは、独自開発した合計3.6GBのデータを基に学習されました。全部で233万件のQnA、要約、分類などのデータを含み、そのうち133万件は53領域の選択問題で構成されています。これらの領域には、韓国史、社会、財務、法律、税務、数学、生物学、物理学、化学などが含まれ、Chain of Thought方式で学習されました。また、130万件の主観問題は、韓国史、財務、法律、税務、数学など38領域にわたって学習されました。学習データの中には、韓国社会の価値と人間の感情を理解し、指示された事項に応じて出力できるデータが含まれています。
• 学習Instruction Datasets Format：

{"prompt": "prompt text", "completion": "ideal generated text"}

使用事例

このモデルは、様々な応用分野で使用できます。例えば：

• 教育分野：歴史、数学、科学などの様々な学習資料に関する質問と回答、説明の生成。
• ビジネス：法律、財務、税務関連の質問に対する回答の提供と文書の要約。
• 研究と文化：韓国社会と文化に合った自然言語処理タスク、感情分析、文書生成と翻訳。
• 顧客サービス：ユーザーとの対話の生成とカスタマイズされた応答の提供。

モデルの限界

• このモデルは韓国語と韓国文化に特化していますが、特定の領域（例：最新の国際資料、専門分野）のデータ不足のため、他の言語や文化に対する応答の正確性が低下する可能性があります。
• 複雑な論理的思考を必要とする問題に対しては、推論能力が制限される場合があります。
• 偏ったデータが含まれる場合、偏った応答が生成される可能性もあります。

🔧 技術詳細

このモデルはLlaMA3.1 8Bモデルをベースに構築されており、SFT(教師付き微調整)方式を通じて韓国語と韓国文化に特化した性能を発揮するように学習されています。LlaMA3.1 8Bの軽量化された構造は、高速な推論速度とメモリ効率を保証し、様々な自然言語処理タスクに適した最適化が施されています。このアーキテクチャは、テキスト生成、質問応答、文書要約、感情分析などの様々なタスクで優れた性能を発揮します。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。