Bert Restore Punctuation

🚀 bert-restore-punctuation

このモデルは、Yelpレビューを用いて句読点復元のために微調整されたbert-base-uncasedモデルです。 このモデルは、小文字の平文テキストの句読点と大文字化を予測します。典型的な使用例としては、自動音声認識（ASR）の出力や、句読点が失われたテキストの処理が挙げられます。 このモデルは、一般的な英語の句読点復元モデルとして直接使用することを想定しています。また、特定ドメインのテキストに対する句読点復元タスクでさらに微調整するためにも利用できます。 モデルは以下の句読点を復元します -- [! ? . , - : ; ' ] また、単語の大文字化も復元します。

🚀 クイックスタート

モデルの使用方法

以下は、このモデルをすぐに使い始めるための手順です。

1. まず、パッケージをインストールします。

pip install rpunct

2. サンプルのPythonコードです。

from rpunct import RestorePuncts
# デフォルトの言語は 'english'
rpunct = RestorePuncts()
rpunct.punctuate("""in 2018 cornell researchers built a high-powered detector that in combination with an algorithm-driven process called ptychography set a world record
by tripling the resolution of a state-of-the-art electron microscope as successful as it was that approach had a weakness it only worked with ultrathin samples that were
a few atoms thick anything thicker would cause the electrons to scatter in ways that could not be disentangled now a team again led by david muller the samuel b eckert
professor of engineering has bested its own record by a factor of two with an electron microscope pixel array detector empad that incorporates even more sophisticated
3d reconstruction algorithms the resolution is so fine-tuned the only blurring that remains is the thermal jiggling of the atoms themselves""")
# 以下のように出力されます:
# In 2018, Cornell researchers built a high-powered detector that, in combination with an algorithm-driven process called Ptychography, set a world record by tripling the
# resolution of a state-of-the-art electron microscope. As successful as it was, that approach had a weakness. It only worked with ultrathin samples that were a few atoms
# thick. Anything thicker would cause the electrons to scatter in ways that could not be disentangled. Now, a team again led by David Muller, the Samuel B. 
# Eckert Professor of Engineering, has bested its own record by a factor of two with an Electron microscope pixel array detector empad that incorporates even more
# sophisticated 3d reconstruction algorithms. The resolution is so fine-tuned the only blurring that remains is the thermal jiggling of the atoms themselves.

このモデルは、任意の長さの英語テキストに対応しており、GPUが利用可能な場合はGPUを使用します。

📦 インストール

モデルを使用するには、以下のパッケージをインストールします。

pip install rpunct

💻 使用例

基本的な使用法

from rpunct import RestorePuncts
# デフォルトの言語は 'english'
rpunct = RestorePuncts()
rpunct.punctuate("your input text here")

📚 ドキュメント

学習データ

モデルを微調整するために使用した商品レビューの数は以下の通りです。

約 3エポック で最適な収束が得られ、このモデルはその状態でダウンロード可能です。

精度

微調整されたモデルは、45,990のホールドアウトテキストサンプルで以下の精度を達成しました。

以下は、各ラベルごとのモデルの性能の内訳です。

☕ お問い合わせ

質問、フィードバック、または同様のモデルのリクエストについては、Daulet Nurmanbetovまでお問い合わせください。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。