Italia 9B Instruct V0.1

🚀 Italia 9B - Instruct v0.1

Italia 9B - Instruct v0.1 是 iGenius 开发的开源大语言模型，专为公共和私营部门的企业设计。它基于 90 亿参数的 Transformer 架构，能精准理解意大利语的语言和文化细微差别，在英语和翻译任务中也表现出色。

🚀 快速开始

使用 transformers 库

from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM

model_id = "iGeniusAI/Italia-9B-Instruct-v0.1"

model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_id)

t_pipeline = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    device_map="auto",
    return_full_text=False, 
    top_p = 0.95, 
    top_k = 50
)

SYSTEM_PROMPT = """Il tuo nome è Modello Italia. Tu sei un'intelligenza artificiale, un modello di linguaggio naturale addestrato da iGenius su Leonardo, uno dei supercomputer più potenti al mondo."""
TEMPERATURE = 0.3
MAX_NEW_TOKENS = 250

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {"role": "user", "content": "Ciao come stai?"},
]

conv_template = tokenizer.apply_chat_template(
        messages,
        tokenize=False
    )

outputs = t_pipeline(
    conv_template,
    max_new_tokens=MAX_NEW_TOKENS,
    do_sample=True,
    temperature=TEMPERATURE,
    num_return_sequences=1,
)
print(outputs[0]["generated_text"])

聊天格式

Italy-9B Instruct 是一个经过微调的模型，用于遵循用户提供的指令。为了获得最佳效果，需要使用以下聊天格式：

<|system|>
Your system prompt.</s>
<|user|>
user request.</s>
<|assistant|>

例如：

<|system|>
Il tuo nome è Modello Italia. Tu sei un'intelligenza artificiale, un modello di linguaggio naturale addestrato da iGenius su Leonardo, uno dei supercomputer più potenti al mondo.</s>
<|user|>
Scrivi una funzione python che genera numeri random.</s>
<|assistant|> 

其中，模型会在 <|assistant|> 之后生成文本。</s> 是 EOS 标记。

✨ 主要特性

• 专为意大利语设计：Italia 9B 专门针对意大利语进行训练，能够理解意大利语的所有语言和文化细微差别，并且在英语和翻译任务中也表现出色。
• 高性能训练：借助与 Cineca 的合作，在 Leonardo 超级计算机上进行大规模训练和微调，该计算机是世界上最先进、性能最高的计算基础设施之一。
• 多数据来源训练：使用数万亿个意大利语标记从头开始训练，数据来源包括公共资源、合成数据和商业合作伙伴提供的特定领域内容。
• 先进的后训练过程：经过监督微调（SFT）和直接偏好优化（DPO）等后训练过程，增强了指令遵循能力并确保了强大的安全措施。

📦 安装指南

文档未提及具体安装步骤，可参考上述代码示例中使用 transformers 库加载模型的方法。

💻 使用示例

基础用法

from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM

model_id = "iGeniusAI/Italia-9B-Instruct-v0.1"

model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_id)

t_pipeline = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    device_map="auto",
    return_full_text=False, 
    top_p = 0.95, 
    top_k = 50
)

SYSTEM_PROMPT = """Il tuo nome è Modello Italia. Tu sei un'intelligenza artificiale, un modello di linguaggio naturale addestrato da iGenius su Leonardo, uno dei supercomputer più potenti al mondo."""
TEMPERATURE = 0.3
MAX_NEW_TOKENS = 250

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {"role": "user", "content": "Ciao come stai?"},
]

conv_template = tokenizer.apply_chat_template(
        messages,
        tokenize=False
    )

outputs = t_pipeline(
    conv_template,
    max_new_tokens=MAX_NEW_TOKENS,
    do_sample=True,
    temperature=TEMPERATURE,
    num_return_sequences=1,
)
print(outputs[0]["generated_text"])

高级用法

文档未提及高级用法示例，可根据实际需求调整代码中的参数，如 max_new_tokens、temperature 等。

📚 详细文档

模型介绍

Italia 是 iGenius 开发的开源大语言模型家族，专为公共和私营部门的企业设计。该系列的第一个模型是 Italia 9B，它是一个基于 90 亿参数的 Transformer 架构的基础大语言模型，与 Cineca 合作开发，并在 MIT 许可证下发布。

硬件和软件

得益于与 Cineca 的合作，能够在 Leonardo 超级计算机上使用数千个 GPU 对 Italia 9B 进行大规模训练和微调，该计算机是世界上最先进、性能最高的计算基础设施之一。

训练

Italia 9B 使用数万亿个意大利语标记从头开始训练，使用了多种数据来源：公共资源、合成数据和商业合作伙伴提供的特定领域内容。超过 90% 的预训练数据是意大利语文本，其余部分是英语。这使得 Italia 能够完全精通英语，并在翻译任务中表现出色。此外，模型还经过了后训练过程，包括监督微调（SFT）和直接偏好优化（DPO），以增强指令遵循能力并确保强大的安全措施。

基准测试

目前所有用于评估语言模型性能的基准测试都是专门为英语生态系统设计的。正在与意大利的领先机构合作开发专门用于评估意大利本土模型的基准测试系统。不过，Italia 9B 在评估常识、语言理解和逻辑推理的基准测试中，在类似规模的模型中表现出了接近最先进的性能。

预期用途

Italia 9B 是一个用于商业和研究目的的大语言模型，专注于意大利语。它适用于各种自然语言处理任务，尤其在企业环境中表现出色，能够提供安全、高效和准确的人工智能解决方案。

使用范围外情况

Italia 不应用于以下相关应用：

• 违法活动：任何可能违反当地、国家或国际法律法规的使用。
• 侵犯隐私：任何可能在未经个人同意的情况下侵犯个人隐私或个人数据的使用。
• 恶意活动：旨在伤害、欺骗或剥削个人或群体的应用，包括但不限于网络钓鱼、欺诈或网络攻击。
• 传播虚假信息：传播虚假或误导性信息，特别是在健康、安全和公共政策等敏感领域。
• 歧视性做法：基于种族、性别、年龄、国籍或其他受保护特征对个人进行歧视或不公平对待的使用。
• 编码任务：与生成或解释源代码相关的任务。

局限性

Italia 是一项新技术，使用时存在风险。目前的测试无法涵盖所有场景，因此模型可能会产生不准确、有偏见或其他令人反感的响应。建议开发人员在部署任何基于 Italia 的应用程序之前进行安全测试。

🔧 技术细节

训练数据

Italia 9B 使用数万亿个意大利语标记从头开始训练，数据来源包括公共资源、合成数据和商业合作伙伴提供的特定领域内容。预训练数据的截止日期为 2023 年 12 月，确保模型在训练时具备最新的语言和上下文知识。

后训练过程

模型经过了监督微调（SFT）和直接偏好优化（DPO）等后训练过程，增强了指令遵循能力并确保了强大的安全措施。

基准测试

正在与意大利的领先机构合作开发专门用于评估意大利本土模型的基准测试系统。目前，Italia 9B 在评估常识、语言理解和逻辑推理的基准测试中，在类似规模的模型中表现出了接近最先进的性能。

📄 许可证

该模型采用 MIT 许可证发布，许可证链接：https://huggingface.co/iGeniusAI/Italia-9B-Instruct-v0.1/blob/main/LICENSE。使用时需要注意以下几点：

• 归属要求：MIT 许可证要求在任何分发的文件中包含完整的许可证文本和版权声明。在使用该模型的任何项目中都必须包含版权声明和 MIT 许可证。
• 责任限制：MIT 许可证包含免责条款，限制了作者或贡献者对因使用该软件而造成的任何损害的责任。这意味着该软件的使用不提供任何保证或责任。
• 修改共享：MIT 许可证不要求共享对软件所做的修改。用户可以自由修改模型进行微调，而无需将这些修改与社区共享。
• 兼容性：MIT 许可证具有高度的宽松性，与许多其他开源许可证兼容。不过，在将 MIT 许可证与其他软件或库一起使用时，需要确保其兼容性。

更多信息

• 有关 Italia 和 iGenius 的更多详细信息，请访问 网站 并阅读 发布博客文章。
• 订阅 时事通讯 以获取最新 AI 模型进展的更新。

贡献者

iGenius 团队。特别感谢 Cineca 及其团队在开发模型过程中提供的宝贵支持和使用 Leonardo 超级计算机。

模型信息表格

重要提示

⚠️ 重要提示

Italia 是一项新技术，使用时存在风险。目前的测试无法涵盖所有场景，因此模型可能会产生不准确、有偏见或其他令人反感的响应。建议开发人员在部署任何基于 Italia 的应用程序之前进行安全测试。

💡 使用建议

在使用 Italia 9B 时，请遵循 MIT 许可证的相关规定，确保在任何分发的文件中包含完整的许可证文本和版权声明。同时，注意模型的使用范围外情况，避免将其用于违法、侵犯隐私、恶意活动、传播虚假信息、歧视性做法和编码任务等相关应用。