Llama 3.1 Korean 8B Instruct

🚀 Llama-3.1-Korean-8B-Instruct

Llama-3.1-Korean-8B-Instruct是基于Meta-Llama-3.1微调而来的模型，它能够处理多种语言任务，为用户提供高效准确的语言交互体验。

模型信息

🚀 快速开始

环境准备

在使用该模型前，请确保你已经安装了必要的库，并且可以根据不同的使用场景选择合适的方式进行推理。

依赖安装

请确保你的transformers版本大于等于4.43.0，你可以通过以下命令更新：

pip install --upgrade transformers

如果你使用vllm，请通过以下命令更新：

pip install --upgrade vllm

💻 使用示例

基础用法（Transformers）

!pip install -qU transformers accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "sh2orc/Llama-3.1-Korean-8B-Instruct"
messages = [{"role": "user", "content": "What is a large language model?"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

outputs = pipeline(prompt, max_new_tokens=2048, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

高级用法（VLLM）

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer, pipeline

BASE_MODEL = "sh2orc/Llama-3.1-Korean-8B-Instruct"

llm = LLM(model=BASE_MODEL)

tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = 'right'

def gen(instruction):
    messages = [
        {
          "role": "system",
          "content": "당신은 훌륭한 AI 비서입니다. 답변 중 모르는 내용이면 모른다고 답해주세요. You are a great AI assistant. If you don't know about a user question, please tell me you don't know about it."
        },
        {
          "role": "user",
          "content": instruction
        }, 
    ]
    
    prompt_message = tokenizer.apply_chat_template(
            messages, 
            tokenize=False, 
            add_generation_prompt=True,
    )
    
    eos_token_id = [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")]
    
    outputs = llm.generate(prompt_message, SamplingParams(
        stop_token_ids=eos_token_id, 
        temperature=0.3, 
        top_p=0.9,
        frequency_penalty=1.3,
        max_tokens=4096))
    
    for output in outputs:
        propt = output.prompt
        generated_text = output.outputs[0].text
        print(generated_text)

Q&A

Q. 请介绍一下娜慧淑。

A. 娜慧淑（1896年10月28日～1948年2月）是韩国的女性文学家和社会活动家，以日本殖民统治时期的代表性女权主义文人而闻名。她在日本接受教育，并参与了日本的女权运动。此外，在韩国，她创立了朝鲜女子教育协会，并参与了女子学校的创立运动。

娜慧淑活跃于诗歌、小说等多种体裁，她的作品主要探讨女性的生活和社会问题。她的代表作有《阿里郎》《盐》《鸽子》等，其中《阿里郎》是她最著名的作品。

此外，娜慧淑也是在日本殖民统治时期活跃的政治人物。她支持独立运动，参与了抗日运动，在大韩民国政府成立后，她也继续进行政治活动。

她的生平与成就被认为在韩国现代文学史和女权主义历史中发挥了重要作用。

Q. 请介绍一下第二次世界大战。

A. 第二次世界大战是1939年至1945年发生的大规模军事冲突，是第一次世界大战后发生的第一场全球战争。这场战争由德国和意大利主导爆发，苏联和美国作为主要盟国参战。日本原本是中立国，但与德国结盟并入侵了满洲和中国。

德国在纳粹党阿道夫·希特勒掌权后推行扩张政策，吞并了奥地利并分割了捷克斯洛伐克。法国入侵波兰但失败了，英国也向德国投降。然而，在英国，温斯顿·丘吉尔首相掌权后抵抗运动活跃起来，在美国，富兰克林·D·罗斯福总统再次当选后也开始参战。

苏联在斯大林的领导下推行独立的外交政策，与日本结盟，但在与纳粹德国的战争中获胜后，对整个欧洲施加了影响力。美国和英国在大西洋海战中获胜并进军欧洲大陆，苏联也推进到了柏林 - 拉帕耶夫线。

日本对中国本土和朝鲜半岛也施加了影响力，目标是扩大在太平洋地区的统治权。然而，由于美军的袭击，登陆作战失败并最终战败。

第二次世界大战有许多国家参战，死亡人数约为5000万至8000万。这场战争导致了联合国机构的成立，即广为人知的国际联盟。

当然，可能还有更多信息，如果您想了解更多详情，请进一步提问或索取资料！

Q. 借钱不还会怎样？

A. 借钱不还可能会引发严重问题。首先，借款人和贷款人之间必须签订合同。该合同在法律上有效，规定了贷款金额、利率和还款期限等。

逾期未还贷款可能会导致以下后果：

1. 收取利息：会对逾期未还的金额收取利息，利息按本金的一定比例计算。
2. 债务违约：借款人将构成债务违约罪。
3. 法律行动：债权人可以向法院提起诉讼，要求恢复原状或要求偿还债务。
4. 信用评级下降：如果进行了信用评估，信用评级将会下降，金融机构在贷款或发卡等方面会遇到困难。

因此，借款必须按时偿还。如果无法偿还，应立即通知并协商解决。

但并非所有情况都能如此处理，因此建议寻求专业咨询或法律建议。

您还有其他疑问吗？

Q. 健康生活的姿势是怎样的？

A. 健康生活的姿势涉及多个要素。首先，保持良好的姿势很重要。良好的姿势是指挺胸、放松肩膀，此时腰部和臀部应自然弯曲。

此外，坐着时脚应平放在地上，站立时应保持平衡。

其次，运动是必不可少的。每天进行约30分钟的简单运动，或参加慢跑、游泳等运动都很不错。此外，规律的饮食和充足的睡眠也很重要。

最后，需要进行压力管理。压力管理方法包括冥想、深呼吸等。

因此，为了过上健康幸福的生活，应保持良好的姿势，通过规律的生活习惯和运动等追求健康和幸福。

然而，每个人的情况不同，可能需要个性化的生活习惯和运动计划。

此外，医生作为专业人士能够提供准确和最新的信息，因此也建议咨询医生。

如有任何疑问，请随时提问！

Q. “为了健康地生活，保持均衡的饮食和规律的运动很重要。保证充足的睡眠和管理压力也对健康有很大影响。定期进行健康检查，以便早期发现和管理疾病也很重要。” 请将这句话翻译成英文。

A. 为了健康地生活，保持均衡的饮食和规律的运动很重要。保证充足的睡眠和管理压力也对健康有很大影响。定期进行健康检查，以便早期发现和管理疾病也很重要。

英文翻译如下： To live a healthy life, it is essential to maintain a balanced diet and regular exercise. Getting enough sleep and managing stress also have a significant impact on health. Regular health check-ups are also important to detect and manage diseases early on.

另外，英文翻译的句子还有： Maintaining a balanced diet and regular exercise is crucial for living a healthy life. Getting sufficient sleep and managing stress also play significant roles in maintaining good health. Regular health check-ups are vital for detecting diseases at an early stage so that they can be managed effectively.

另一个英文翻译的句子是： A well-balanced diet and regular physical activity are key components of maintaining good health. Adequate sleep and stress management are equally important factors in keeping the body healthy. Regular medical check-ups help identify potential issues before they become serious problems.

除此之外，还有多种英文翻译方式。

Q. 请将以下内容翻译成英文：信用卡逾期可能会给金融交易带来极大的不利影响。一旦发生逾期，信用评级将会大幅下降，这可能导致日后申请贷款时被拒绝或面临不利条件。此外，很有可能会收到发卡行提供的高息贷款或其他债务建议。

A. 信用卡逾期可能会给金融交易带来极大的不利影响。一旦发生逾期，信用评级将会大幅下降，这可能导致日后申请贷款时被拒绝或面临不利条件。此外，很有可能会收到发卡行提供的高息贷款或其他债务建议。

（原文翻译） Overdue credit card payments can cause significant financial inconvenience. If a payment is overdue, the credit score will drop significantly, which may result in rejection or unfavorable terms when applying for loans later on. Additionally, there is a higher likelihood of receiving high-interest loan or other debt proposals from the card issuer.