Llama-3.1-Korean-8B-Instructオープンソース韓国語大規模言語モデル - 無料でデプロイし、指令の理解と生成を支援

ホーム

Llama 3.1 Korean 8B Instruct

sh2orcによって開発

Meta-Llama-3.1をファインチューニングした韓国語大規模言語モデルで、コマンド理解と生成タスクに特化

大規模言語モデル

Transformers

#韓国語コマンド理解 #マルチターン対話最適化 #知識集約型QA

ダウンロード数 3,191

リリース時間 : 7/26/2024

モデル概要

このモデルはMeta-Llama-3.1-8B-Instructをファインチューニングした韓国語大規模言語モデルで、韓国語のコマンド理解と生成タスクに最適化されており、様々な韓国語自然言語処理シナリオに適用可能です。

モデル特徴

韓国語最適化

複数の高品質な韓国語データセットを使用してファインチューニングを行い、韓国語の理解と生成能力を最適化

コマンド理解

特にコマンド理解と実行に最適化されており、ユーザーの意図をより良く理解可能

マルチターン対話

マルチターン対話インタラクションをサポートし、対話の文脈一貫性を維持

モデル能力

韓国語テキスト生成

質問応答システム

コマンド理解と実行

テキスト翻訳(韓英)

情報抽出と要約

使用事例

教育

韓国語学習アシスタント

学習者が韓国語を理解し練習するのを支援

正確な韓国語の説明と例を提供

カスタマーサービス

韓国語カスタマーサービスボット

韓国語の顧客相談を処理

一般的な質問を理解し正確に回答可能

コンテンツ作成

韓国語コンテンツ生成

韓国語の記事、レポートなどを生成

流暢で自然な韓国語テキストを生成

🚀 Llama-3.1-Korean-8B-Instruct

Llama-3.1-Korean-8B-Instructは、Meta-Llama-3.1をファインチューニングしたモデルです。このモデルは、韓国語に特化したデータセットを使用して訓練されており、韓国語に関する質問に対して高精度な回答を提供することができます。

🚀 クイックスタート

Llama-3.1-Korean-8B-Instructは、Meta-Llama-3.1からファインチューニングされています。

meta-llama/Meta-Llama-3.1-8B-Instruct

データセット:

💻 使用例

基本的な使用法

!pip install -qU transformers accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "sh2orc/Llama-3.1-Korean-8B-Instruct"
messages = [{"role": "user", "content": "What is a large language model?"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

outputs = pipeline(prompt, max_new_tokens=2048, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

高度な使用法

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer, pipeline

BASE_MODEL = "sh2orc/Llama-3.1-Korean-8B-Instruct"

llm = LLM(model=BASE_MODEL)

tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = 'right'

def gen(instruction):
    messages = [
        {
          "role": "system",
          "content": "당신은 훌륭한 AI 비서입니다. 답변 중 모르는 내용이면 모른다고 답해주세요. You are a great AI assistant. If you don't know about a user question, please tell me you don't know about it."
        },
        {
          "role": "user",
          "content": instruction
        }, 
    ]
    
    prompt_message = tokenizer.apply_chat_template(
            messages, 
            tokenize=False, 
            add_generation_prompt=True,
    )
    
    eos_token_id = [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")]
    
    outputs = llm.generate(prompt_message, SamplingParams(
        stop_token_ids=eos_token_id, 
        temperature=0.3, 
        top_p=0.9,
        frequency_penalty=1.3,
        max_tokens=4096))
    
    for output in outputs:
        propt = output.prompt
        generated_text = output.outputs[0].text
        print(generated_text)

📚 ドキュメント

Q&A

Q. 나혜석에 대해서 알려주세요。
A. 나혜석（1896年10月28日～1948年2月）は、韓国の女性文学者であり社会運動家でもあり、日本統治期の代表的な女性主義文人として知られています。彼女は日本で教育を受け、日本の女性主義運動に参加しました。また、韓国では朝鮮女子教育協会を設立し、女子学校設立運動に参加しました。

나혜석は詩や小説など様々なジャンルで活動し、彼女の作品は主に女性の生活や社会問題を扱っています。彼女の代表作には「アリラン」「塩」「ハト」などがあり、中でも「アリラン」は彼女が書いた最も有名な作品です。

また、 나혜석は日本統治期に活動した政治的人物としても有名です。彼女は独立運動を支持し、抗日運動に参加し、その後、大韓民国政府設立後も政治活動を続けました。

彼女の生涯と業績は、韓国現代文学史と女性主義史において重要な役割を果たしたと評価されています。

Q. 第二次世界大戦について教えて。
A. 第二次世界大戦は、1939年から1945年まで起こった大規模な軍事衝突で、第一次世界大戦後に発生した最初の世界大戦でした。この戦争は、ドイツとイタリアが主導して勃発し、ソビエト連邦と米国が主要な連合国として参加しました。日本も中立国でしたが、ドイツとの同盟関係を結び、満州と中国を侵略しました。

ドイツは、ナチ党のアドルフ・ヒトラーが権力を握ると、拡張政策を推進し、オーストリアを併合し、チェコスロバキアを分割しました。フランスはポーランドを侵攻しましたが敗北し、イギリスもドイツに降伏しました。しかし、イギリスではウィンストン・チャーチル首相が権力を握ると抵抗運動が活発化し、米国でもフランクリン・D・ルーズベルト大統領が再選されると戦争に参加し始めました。

ソビエト連邦は、スターリンの指導の下、独立した外交政策を推進し、日本との同盟関係を結びましたが、ナチ・ドイツとの戦争で勝利することで、ヨーロッパ全域に影響力を行使するようになりました。米国とイギリスは、大西洋海戦で勝利し、ヨーロッパ本土に進撃し、ソビエト連邦もベルシニー・ラファエフ線まで進撃しました。

日本は、中国本土と朝鮮半島にも影響力を行使し、太平洋地域での統治権拡大を目標としました。しかし、米軍の攻撃により上陸作戦が失敗し、敗北することになりました。

第二次世界大戦には多くの国が参戦し、死者数は約5000万～8000万人程度でした。この戦争により、国際連合機構が設立され、国際連合という名前で知られるようになりました。

もちろん、これだけを知っているわけではないかもしれないので、もっと詳しく知りたい場合は、追加の質問や資料の要求をお願いします！

Q. お金を借りたけど、返さないとどうなりますか？
A. お金を借りたけど返さないと、大きな問題が発生する可能性があります。まず、借り手と貸し手の間で契約が締結される必要があります。この契約は法的に認められ、貸付金額と金利、返済期間などが決められています。

貸付金を未払いにすると、次のような結果が生じる可能性があります：

利子の賦課：未払いの金額に対する利子が賦課されます。利子は元本の一定割合で計算されます。
債務不履行：借り手（借入人）は債務不履行罪を犯すことになります。
法的措置：債権者は裁判所で訴訟を起こし、原状回復を請求したり弁済請求をすることができます。
信用度の低下：信用評価を受けていた場合、信用度が低下し、金融機関での借入やカード発行などに困難をきたすことになります。

したがって、借りたお金は必ず支払う必要があります。支払えない場合は、すぐに連絡し、協議して解決する必要があります。

ただし、すべての状況で可能なわけではないので、専門的な相談や法律相談を受けることをおすすめします。

もし疑問点があれば、いつでも質問してください。

Q. 健康的に生きるための姿勢。
A. 健康的に生きるための姿勢には、いくつかの要素があります。まず、良い姿勢を維持することが重要です。良い姿勢とは、胸を張り、肩をリラックスさせることです。このとき、腰とお尻は自然に曲がっている必要があります。

また、座っているときは、足が平らに地面についている必要があります。そして、立っているときは、バランスを保っている必要があります。

次に、運動は必須です。毎日30分程度の単純な運動をしたり、ジョギングや水泳などに参加すると良いでしょう。また、規則正しい食事と十分な睡眠も重要です。

最後に、ストレス管理が必要です。ストレス管理方法には、瞑想や深呼吸法などがあります。

したがって、健康で幸せな生活を送るためには、良い姿勢を維持し、規則正しい生活習慣と運動などを通じて健康と幸せを追求する必要があります。

ただし、すべての人が同じではないので、個人ごとにカスタマイズされた生活習慣と運動計画が必要になるかもしれません。

また、医師は専門家として正確で最新の情報を提供できるので、医師の相談もおすすめです。

疑問点があれば、いつでも質問してください！

Q. 健康的に生きるためには、バランスの取れた食事を維持し、規則的な運動をすることが重要です。十分な睡眠をとり、ストレスを管理することも健康に大きな影響を与えます。定期的な健康診断を通じて病気を早期に発見し、管理することも重要です。これを英語に翻訳して。
A. 健康的に生きるためには、バランスの取れた食事を維持し、規則的な運動をすることが重要です。十分な睡眠をとり、ストレスを管理することも健康に大きな影響を与えます。定期的な健康診断を通じて病気を早期に発見し、管理することも重要です。

英語に翻訳すると次のようになります：

To live a healthy life, it is essential to maintain a balanced diet and regular exercise. Getting enough sleep and managing stress also have a significant impact on health. Regular health check-ups are also important to detect and manage diseases early on.

また、英語に翻訳された文は次のようになります：

Maintaining a balanced diet and regular exercise is crucial for living a healthy life. Getting sufficient sleep and managing stress also play significant roles in maintaining good health. Regular health check-ups are vital for detecting diseases at an early stage so that they can be managed effectively.

別の英語に翻訳された文は次のようになります：

A well-balanced diet and regular physical activity are key components of maintaining good health. Adequate sleep and stress management are equally important factors in keeping the body healthy. Regular medical check-ups help identify potential issues before they become serious problems.

これ以外にも、いくつかの方法で英語に翻訳することができます。

Q. 次を英語に翻訳してください：カードの延滞は、金融取引に大きな不利益をもたらす可能性があります。延滞が発生すると、信用格付けが大幅に低下し、これはその後の融資申請時に拒否されたり、不利な条件を受ける結果をもたらす可能性があります。また、カード会社から高金利の融資やその他の債務の提案を受ける可能性が高くなります。
A. カードの延滞は、金融取引に大きな不利益をもたらす可能性があります。延滞が発生すると、信用格付けが大幅に低下し、これはその後の融資申請時に拒否されたり、不利な条件を受ける結果をもたらす可能性があります。また、カード会社から高金利の融資やその他の債務の提案を受ける可能性が高くなります。

(原文翻訳)

Overdue credit card payments can cause significant financial inconvenience. If a payment is overdue, the credit score will drop significantly, which may result in rejection or unfavorable terms when applying for loans later on. Additionally, there is a higher likelihood of receiving high-interest loan or other debt proposals from the card issuer.