Llama 3 8B Instruct

🚀 Checkpoint 1

This project is based on the AI-Sweden-Models/Llama-3-8B model, trained on the LUMI supercomputer within the DeployAI EU project, and uses a data recipe from 42 Labs.

🚀 Quick Start

This checkpoint is based on the base model AI-Sweden-Models/Llama-3-8B, and the training was performed on the LUMI supercomputer within the DeployAI EU project.

✨ Features

• Supported Languages: Swedish (sv), Danish (da), Norwegian (no).
• License: llama3

📦 Installation

No specific installation steps are provided in the original document.

💻 Usage Examples

Basic Usage

import transformers
import torch

model_id = "AI-Sweden-Models/Llama-3-8B-instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "Du är en hjälpsam assistant som svarar klokt och vänligt."},
    {"role": "user", "content": "Hur gör man pannkakor? Och vad behöver man handla? Undrar också vad 5+6 är.."},
]

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][-1])

Advanced Usage

>>> "För att göra pannkakor behöver du följande ingredienser:
- 1 kopp vetemjöl
- 1 tesked bakpulver
- 1/4 tesked salt
- 1 kopp mjölk
- 1 stort ägg
- 2 matskedar smält smör eller olja

För att börja, blanda vetemjölet, bakpulvret och saltet i en bunke. I en annan skål, vispa ihop mjölken, ägget och smöret eller oljan. 
Tillsätt de våta ingredienserna till de torra ingredienserna och blanda tills det är väl blandat. 
Låt smeten vila i cirka 10 minuter.

För att göra pannkakorna, värm en non-stick-panna eller stekpanna över medelvärme. 
När den är varm, häll smeten på pannan och grädda tills kanterna börjar torka ut och toppen är fast. 
Vänd pannkakan med en stekspade och grädda den andra sidan tills den är gyllenbrun. 
Upprepa med resten av smeten.

När det gäller 5+6 är svaret 11."

📚 Documentation

Dataset

A data recipe by: 42 Labs

📄 License

The project uses the llama3 license.