Codeswitch Spaeng Lid Lince

🚀 コードスイッチ スペイン語-英語 言語識別 LinCE

このモデルは、LinCE から取得した スペイン語-英語 のコード混合データの 言語識別 用に事前学習されたモデルです。このモデルは、以下のリポジトリに基づいて学習されています。

https://github.com/sagorbrur/codeswitch

🚀 クイックスタート

📦 インストール

codeswitchをインストールするには、以下のコマンドを実行します。

pip install codeswitch

💻 使用例

基本的な使用法

# 言語識別の基本的な使用例
from codeswitch.codeswitch import LanguageIdentification
lid = LanguageIdentification('spa-eng') 
text = "" # コード混合の文章を入力
result = lid.identify(text)
print(result)

高度な使用法

# 高度な言語識別の使用例
from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline

tokenizer = AutoTokenizer.from_pretrained("sagorsarker/codeswitch-spaeng-lid-lince")

model = AutoModelForTokenClassification.from_pretrained("sagorsarker/codeswitch-spaeng-lid-lince")
lid_model = pipeline('ner', model=model, tokenizer=tokenizer)

lid_model("put any spanish english code-mixed sentence")

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 ドキュメント