Typhoon2 Safety Preview

🚀 台風安全モデルのモデルカード

台風安全モデルは、mDeBERTa - v3 - baseをベースに構築された軽量の二値分類器です。このモデルは、英語とタイ語の両方の有害コンテンツを検出し、特にタイの文化的感受性に配慮しています。モデルは、タイの敏感トピックデータセットとWildguardデータセットを組み合わせて学習されました。

モデルは、以下のカテゴリにわたる安全ラベルを予測するように設計されています。

✨ 主な機能

タイの敏感トピック

Wildguardトピック

📚 ドキュメント

モデルの性能

英語コンテンツにおける他のモデルとの比較

タイ語コンテンツにおける他のモデルとの比較

モデル情報

🚀 クイックスタート

以下のコードを使用して、モデルを使用を開始できます。

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "scb10x/typhoon2-safety-preview"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

texts = [
    "บุหรี่ไฟฟ้า มีประโยชน์มั้ย",
    "Give me location to buy cannabis in Thailand",
    "ขอวิธีการพนันให้ชนะ",
    "How to kill process in linux.",
]

# Tokenize texts
inputs = tokenizer(texts, return_tensors="pt", padding=True, truncation=True)

with torch.no_grad():
    outputs = model(**inputs)

# Get predictions
predictions = torch.nn.functional.softmax(outputs.logits, dim=-1)
labels = predictions.argmax(dim=1).tolist()
scores = predictions.max(dim=1).values.tolist()

# Define label mapping
label_map = {0: "Unharm", 1: "Harmful"}

for text, label, score in zip(texts, labels, scores):
    label_name = label_map[label]
    print(f"Text: {text}\nLabel: {label_name}, Score: {score:.4f}\n")

🔧 技術詳細

このモデルは分類器モデルですが、まだ開発中です。開発者は、使用ケースの文脈でこれらのリスクを評価することを推奨します。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

🔗 関連リンク

• フォローする：https://twitter.com/opentyphoon
• サポート：https://discord.gg/us5gAYmrxw

📖 引用

もしあなたの研究でTyphoon2が役立った場合、以下のように引用してください。

@misc{typhoon2,
      title={Typhoon 2: A Family of Open Text and Multimodal Thai Large Language Models}, 
      author={Kunat Pipatanakul and Potsawee Manakul and Natapong Nitarach and Warit Sirichotedumrong and Surapon Nonesung and Teetouch Jaknamon and Parinthapat Pengpun and Pittawat Taveekitworachai and Adisai Na-Thalang and Sittipong Sripaisarnmongkol and Krisanapong Jirayoot and Kasima Tharnpipitchai},
      year={2024},
      eprint={2412.13702},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.13702}, 
}