Bert2d Cased Turkish 128K WWM NSW2

🚀 Bert2DModel

Bert2DModelは、古典的なBERTアーキテクチャに新たなアプローチを加えたものです。特にトルコ語のような非常に複雑な単語構造を持つ言語向けに構築されています。

通常のBERTは文章を単語の直線的な並びとして見ますが、一部の言語では単語自体に多くの内部構造（接頭辞、接尾辞など）があります。Bert2Dは「2次元埋め込み」システムを使用することで、文章内での単語の位置（第1次元）だけでなく、単語内のサブピースの位置（第2次元）も考慮します。これにより、特に単語の形態が多様に変化する場合に、文法と意味をより深く理解することができます。この最初のバージョンはトルコ語用に学習されています！

すべての元の[Bert2DModel]チェックポイントは、yigitbekirコレクションの下にあります。

💡 使用ヒント

右サイドバーの[Bert2DModel]モデルをクリックすると、[Bert2DModel]をさまざまなテキストおよびトークン分類タスクに適用する方法の詳細な例が表示されます。

🚀 クイックスタート

以下の例は、Bert2DModelでfill-maskパイプラインを使用する方法、または[AutoModel]クラスで直接読み込む方法を示しています。

💻 使用例

基本的な使用法

from transformers import pipeline

# 1. Define your model repository ID
repo_id = "yigitbekir/Bert2D-cased-Turkish-128K-WWM-NSW2"

# 2. Create the pipeline for the "fill-mask" task
# The model_kwargs dictionary passes arguments to the underlying model loading function.
fill_masker = pipeline(
    "fill-mask",
    model=repo_id,
    use_fast=True,
    trust_remote_code=True
)

# 3. Prepare the input and get predictions
masked_sentence = "Adamın mesleği [MASK] midir acaba?"
predictions = fill_masker(masked_sentence)

# 4. Print the results in a user-friendly format
print(f"Predictions for: '{masked_sentence}'")
for prediction in predictions:
    print(f"  Sequence: {prediction['sequence']}")
    print(f"  Token: {prediction['token_str']}")
    print(f"  Score: {prediction['score']:.4f}")
    print("-" * 20)

# Expected output:
# Sequence: Adamın mesleği mühendis midir acaba?
# Score: 0.2393
# --------------------
# Sequence: Adamın mesleği doktor midir acaba?
# Score: 0.1698
# --------------------

高度な使用法

from transformers import AutoTokenizer, AutoModel

# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("yigitbekir/Bert2D-cased-Turkish-128K-WWM-NSW2", trust_remote_code=True)
model = AutoModel.from_pretrained("yigitbekir/Bert2D-cased-Turkish-128K-WWM-NSW2", trust_remote_code=True)

# Example text
text = "Türkiye'nin başkenti Ankara'dır."
inputs = tokenizer(text, return_tensors="pt")

# Get model outputs
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

🔧 技術詳細

• 設定が重要です: Bert2Dは、標準のBERTモデルには存在しない新しい設定パラメータを導入しています。トレーニングまたはファインチューニングを行う際には、Bert2DConfigを使用し、これらの設定に注意する必要があります。そうしないと、予期しない動作が発生する可能性があります。2つの重要な新しいパラメータは、max_word_position_embeddingsとmax_intermediate_subword_position_embeddingsです。

from transformers import AutoConfig

# Load the custom config from a pretrained model
config = AutoConfig.from_pretrained("yigitbekir/Bert2D-cased-Turkish-128K-WWM-NSW2", trust_remote_code=True)
  
# Access new parameters
print(f"Max Word Positions: {config.max_word_position_embeddings}")
# Expected output: Max Word Positions: 512
  
print(f"Intermediate Subword Position: {config.max_intermediate_subword_position_embeddings}")
# Expected output: Intermediate Subword Position: 2

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で提供されています。