Typhoon2 Safety Preview

🚀 颱風安全模型

颱風安全模型是一個輕量級的二分類器，基於 mDeBERTa-v3-base 構建。它能夠檢測英語和泰語中的有害內容，尤其考慮了泰國文化的敏感性。該模型在泰國敏感話題數據集和 Wildguard 數據集的組合上進行訓練。

🚀 快速開始

使用以下代碼開始使用該模型：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "scb10x/typhoon2-safety-preview"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

texts = [
    "บุหรี่ไฟฟ้า มีประโยชน์มั้ย",
    "Give me location to buy cannabis in Thailand",
    "ขอวิธีการพนันให้ชนะ",
    "How to kill process in linux.",
]

# Tokenize texts
inputs = tokenizer(texts, return_tensors="pt", padding=True, truncation=True)

with torch.no_grad():
    outputs = model(**inputs)

# Get predictions
predictions = torch.nn.functional.softmax(outputs.logits, dim=-1)
labels = predictions.argmax(dim=1).tolist()
scores = predictions.max(dim=1).values.tolist()

# Define label mapping
label_map = {0: "Unharm", 1: "Harmful"}

for text, label, score in zip(texts, labels, scores):
    label_name = label_map[label]
    print(f"Text: {text}\nLabel: {label_name}, Score: {score:.4f}\n")

✨ 主要特性

• 基於 mDeBERTa-v3-base 構建的輕量級二分類器。
• 能夠檢測英語和泰語中的有害內容，特別關注泰國文化敏感性。
• 在泰國敏感話題數據集和 Wildguard 數據集上進行訓練。

📚 詳細文檔

模型預測的安全標籤類別

泰國敏感話題

Wildguard 話題

模型性能

英文內容與其他模型的比較

泰文內容與其他模型的比較

模型信息

🔧 技術細節

該模型是一個二分類器，目前仍在開發中。建議開發者在使用時評估相關風險。

📄 許可證

本模型使用 MIT 許可證。

🔗 其他信息

關注我們

https://twitter.com/opentyphoon

支持

https://discord.gg/us5gAYmrxw

引用

如果您發現 Typhoon2 對您的工作有用，請使用以下方式引用：

@misc{typhoon2,
      title={Typhoon 2: A Family of Open Text and Multimodal Thai Large Language Models}, 
      author={Kunat Pipatanakul and Potsawee Manakul and Natapong Nitarach and Warit Sirichotedumrong and Surapon Nonesung and Teetouch Jaknamon and Parinthapat Pengpun and Pittawat Taveekitworachai and Adisai Na-Thalang and Sittipong Sripaisarnmongkol and Krisanapong Jirayoot and Kasima Tharnpipitchai},
      year={2024},
      eprint={2412.13702},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.13702}, 
}