Sbert Punc Case Ru

🚀 SbertPuncCase

SbertPuncCaseは、ロシア語の句読点と大文字小文字を復元するモデルです。このモデルは、句点、コンマ、疑問符を挿入することができ、また、単語の大文字小文字を判断することができます。つまり、小文字の単語、先頭の文字が大文字の単語、すべて大文字の単語を識別できます。このモデルは、音声認識後のテキストを復元するために開発されたため、小文字の文字列で動作します。モデルの基礎となったのは sbert_large_nlu_ru です。学習データとしては、インタビューのテキスト書き起こしが使用されています。

🚀 クイックスタート

このモデルは、ロシア語の句読点と大文字小文字を復元するために使用されます。以下に、モデルの動作原理と使用方法を説明します。

✨ 主な機能

• ロシア語の句読点（句点、コンマ、疑問符）を自動的に挿入することができます。
• 単語の大文字小文字を正しく判断し、復元することができます。
• 音声認識後の小文字のテキストに対して効果的に動作します。

📦 インストール

1. git-lfs がインストールされていることを確認してください。
2. 以下のコマンドを使用して、モデルを迅速にインストールすることができます。

pip install git+https://huggingface.co/kontur-ai/sbert_punc_case_ru

💻 使用例

基本的な使用法

from sbert_punc_case_ru import SbertPuncCase
model = SbertPuncCase()
model.punctuate("sbert punc case расставляет точки запятые и знаки вопроса вам нравится")

📚 ドキュメント

動作原理

1. テキストは小文字に変換され、単語に分割されます。
2. 単語はトークンに分割されます。
3. モデルは（NERタスクと同様に）各トークンのクラスを予測します。12のクラスに分類されます：3 + 1 の句読点 * 3 種類の大文字小文字のパターン。
4. デコード関数が、予測されたクラスに従ってテキストを復元します。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

👥 作者

• Альмира Муртазина
• Александр Абугалиев

情報テーブル

| 属性 | 详情 |
|------|------|
| モデルタイプ | SbertPuncCase - ロシア語の句読点と大文字小文字を復元するモデル |
| 学習データ | インタビューのテキスト書き起こし |
| ベースモデル | [sbert_large_nlu_ru](https://huggingface.co/sberbank-ai/sbert_large_nlu_ru) |
| 推論 | 無効 |
| ライセンス | Apache-2.0 |
| タグ | PyTorch, Transformers |