Whisper Tflite Models

🚀 Whisper tfliteモデル（F-DroidのWhisperアプリでの使用）

このモデルは自動音声認識を行うもので、「transcribe - translate」モデルは「serving_transcribe」と「serving_translate」のシグネチャを提供し、モデルに特定のアクションを実行させます。

🚀 クイックスタート

モデルの基本的な使用法

以下は、モデルを使用して音声を文字起こしまたは翻訳するためのコード例です。

# 文字起こし用の関数
@tf.function(
    input_signature=[
        tf.TensorSpec((1, 80, 3000), tf.float32, name="input_features"),
    ],
)
def transcribe(self, input_features):
    outputs = self.model.generate(
        input_features,
        max_new_tokens=450,  # 必要に応じて変更
        return_dict_in_generate=True,
        forced_decoder_ids=[[2, 50359], [3, 50363]],  # タイムスタンプなしで任意の言語を文字起こしするよう強制
    )
    return {"sequences": outputs["sequences"]}

# 翻訳用の関数
@tf.function(
    input_signature=[
        tf.TensorSpec((1, 80, 3000), tf.float32, name="input_features"),
    ],
)
def translate(self, input_features):
    outputs = self.model.generate(
        input_features,
        max_new_tokens=450,  # 必要に応じて変更
        return_dict_in_generate=True,
        forced_decoder_ids=[[2, 50358], [3, 50363]],  # タイムスタンプなしで任意の言語を翻訳するよう強制
    )
    return {"sequences": outputs["sequences"]}

特定言語の文字起こしと翻訳

特定の言語に対して文字起こしまたは翻訳を行うには、以下のようにforced_decoder_idsを設定します。

# 特定言語（ドイツ語）の文字起こし用の関数
def transcribe(self, input_features):
    outputs = self.model.generate(
        input_features,
        max_new_tokens=450,  # 必要に応じて変更
        return_dict_in_generate=True,
        forced_decoder_ids=[[1, 50261], [2, 50359], [3, 50363]],  # タイムスタンプなしでドイツ語を文字起こしするよう強制
    )
    return {"sequences": outputs["sequences"]}

# 特定言語（ドイツ語）の翻訳用の関数
def translate(self, input_features):
    outputs = self.model.generate(
        input_features,
        max_new_tokens=450,  # 必要に応じて変更
        return_dict_in_generate=True,
        forced_decoder_ids=[[1, 50261], [2, 50358], [3, 50363]],  # 異なるforced_decoder_ids
    )
    return {"sequences": outputs["sequences"]}

言語コードについては、こちらを参照してください。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。