Nanot5 Small Malaysian Translation V2

🚀 纳米T5小型马来西亚语翻译模型V2

纳米T5小型马来西亚语翻译模型V2基于mesolitica/nanot5-small-malaysian-cased模型微调而来，在70亿个标记的翻译数据集上，使用2048的上下文长度进行训练。该模型能够有效解决马来西亚当地语言与标准语言之间的翻译问题，同时支持代码翻译和代码切换，为语言处理和翻译任务提供了强大的支持。

🚀 快速开始

本模型可用于多种语言的翻译任务。以下是使用该模型进行翻译的基本步骤：

from transformers import AutoTokenizer, T5ForConditionalGeneration

tokenizer = AutoTokenizer.from_pretrained('mesolitica/nanot5-small-malaysian-translation-v2')
model = T5ForConditionalGeneration.from_pretrained('mesolitica/nanot5-small-malaysian-translation-v2')

strings = [
    'ak tak paham la',
    'Hi guys! I noticed semalam & harini dah ramai yang dapat cookies ni kan. So harini i nak share some post mortem of our first batch:',
    "Memanglah. Ini tak payah expert, aku pun tau. It's a gesture, bodoh.",
    'jam 8 di pasar KK memang org ramai 😂, pandai dia pilih tmpt.',
    'Jadi haram jadah😀😃🤭',
    'nak gi mana tuu',
    'Macam nak ambil half day',
    "Bayangkan PH dan menang pru-14. Pastu macam-macam pintu belakang ada. Last-last Ismail Sabri naik. That's why I don't give a fk about politics anymore. Sumpah dah fk up dah.",
]
all_special_ids = [0, 1, 2]
prefix = 'terjemah ke Melayu: '
input_ids = [{'input_ids': tokenizer.encode(f'{prefix}{s}{tokenizer.eos_token}', return_tensors='pt')[
    0]} for s in strings]
padded = tokenizer.pad(input_ids, padding='longest')
outputs = model.generate(**padded, max_length = 100)
tokenizer.batch_decode([[i for i in o if i not in all_special_ids] for o in outputs])

输出结果如下：

[' Saya tidak faham',
 ' Hi guys! Saya perasan semalam dan hari ini ramai yang menerima cookies. Jadi hari ini saya ingin berkongsi beberapa post mortem batch pertama kami:',
 ' Memanglah. Tak perlu pakar, saya juga tahu. Ini adalah satu isyarat, bodoh.',
 ' Orang ramai di pasar KK pada jam 8 pagi, mereka sangat pandai memilih tempat.',
 ' Jadi haram jadah 😀😃🤭',
 ' Di mana kamu pergi?',
 ' Saya ingin mengambil separuh hari',
 ' Bayangkan PH dan menang PRU-14. Terdapat pelbagai pintu belakang. Akhirnya, Ismail Sabri naik. Itulah sebabnya saya tidak lagi bercakap tentang politik. Saya bersumpah sudah berputus asa.']

输入文本可以是马来西亚使用的任何语言，只要使用正确的前缀，模型就能将其翻译成目标语言。

✨ 主要特性

• 本地化与标准化互译：该模型能够将本地化文本翻译成标准文本，也能将标准文本反向翻译成本地化文本，适用于文本增强。
• 代码翻译：支持代码翻译，可处理不同编程语言的代码。
• 代码切换：模型原生支持代码切换，方便在不同语言之间进行转换。
• 格式保留：模型会原样保留\n、\t、\r等格式符号。

📚 详细文档

评估结果

• IIUM Confession-EN：这是一个黄金标注数据集，我们聘请人工将IIUM Confession中的当地马来语翻译成标准英语。
• 其他数据集：其他评估数据来自FLORES200。

所有评估结果可在此处查看。

训练阶段

我们分三个阶段进行训练：

1. 第一阶段：在60亿个标记的噪声翻译数据集的5%上进行训练，包括所有前缀的填充式训练，以改善注意力偏差。
2. 第二阶段：在60亿个标记的噪声翻译数据集上进行打包式训练，此阶段需要冻结注意力偏差以加快训练速度。
3. 第三阶段：在10亿个标记的高质量翻译数据集上进行打包式训练，同样需要冻结注意力偏差以加快训练速度。

支持的前缀

1. 'terjemah ke Mandarin: '
2. 'terjemah ke Tamil: '
3. 'terjemah ke Jawa: ' ⁺
4. 'terjemah ke Melayu: '
5. 'terjemah ke Inggeris: '
6. 'terjemah ke johor: ' ⁺⁺
7. 'terjemah ke kedah: ' ⁺⁺
8. 'terjemah ke kelantan: ' ⁺⁺
9. 'terjemah ke pasar Melayu: ' ⁺
10. 'terjemah ke melaka: ' ⁺⁺
11. 'terjemah ke negeri sembilan: ' ⁺⁺
12. 'terjemah ke pahang: ' ⁺⁺
13. 'terjemah ke perak: ' ⁺⁺
14. 'terjemah ke sabah: ' ⁺⁺
15. 'terjemah ke sarawak: ' ⁺⁺
16. 'terjemah ke terengganu: ' ⁺⁺
17. 'terjemah ke Jawi: ' ⁺⁺
18. 'terjemah ke Manglish: ' ⁺
19. 'terjemah ke Banjar: ' ⁺
20. 'terjemah ke pasar Mandarin: ' ⁺
21. 'terjemah ke Cantonese: ' ⁺⁺

• ⁺ 表示最低支持。
• ⁺⁺ 表示初步支持。

💻 使用示例

基础用法

以下是将英文代码翻译成马来文的示例：

code_english = """
Here's a detailed Python code solution for implementing a Convolutional Neural Network (CNN) for image classification on the CIFAR-10 dataset:

```python
import tensorflow as tf
from tensorflow.keras.datasets import cifar10
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from sklearn.model_selection import GridSearchCV
from tensorflow.keras.wrappers.scikit_learn import KerasClassifier
import numpy as np
import matplotlib.pyplot as plt

# Load and preprocess the CIFAR-10 dataset
(x_train, y_train), (x_test, y_test) = cifar10.load_data()
x_train = x_train.astype('float32') / 255.0
x_test = x_test.astype('float32') / 255.0
y_train = tf.keras.utils.to_categorical(y_train, num_classes=10)
y_test = tf.keras.utils.to_categorical(y_test, num_classes=10)

# Define the CNN architecture
def create_model(learning_rate=0.001, dropout_rate=0.5, num_filters=32):
    model = Sequential()
    model.add(Conv2D(num_filters, (3, 3), activation='relu', padding='same', input_shape=(32, 32, 3)))
    model.add(Conv2D(num_filters, (3, 3), activation='relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Dropout(dropout_rate))

    model.add(Conv2D(num_filters * 2, (3, 3), activation='relu', padding='same'))
    model.add(Conv2D(num_filters * 2, (3, 3), activation='relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Dropout(dropout_rate))

    model.add(Conv2D(num_filters * 4, (3, 3), activation='relu', padding='same'))
    model.add(Conv2D(num_filters * 4, (3, 3), activation='relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Dropout(dropout_rate))

    model.add(Flatten())
    model.add(Dense(512, activation='relu'))
    model.add(Dropout(dropout_rate))
    model.add(Dense(10, activation='softmax'))

    optimizer = Adam(learning_rate=learning_rate)
    model.compile(optimizer=optimizer, loss='categorical_crossentropy', metrics=['accuracy'])
    return model

Explanation:

a) Data preprocessing:

• The CIFAR-10 dataset is loaded using cifar10.load_data().
• The pixel values of the images are normalized to the range [0, 1] by dividing them by 255.
• The labels are converted to categorical format using to_categorical().

b) CNN Architecture:

• The CNN architecture consists of three convolutional blocks, each containing two convolutional layers followed by a max-pooling layer and dropout regularization.
• The number of filters in each convolutional block is increased progressively (32, 64, 128).
• ReLU activation function is used in the convolutional layers.
• The final layers are fully connected, with a softmax activation for multi-class classification. """

input_ids = tokenizer.encode(f'terjemah ke Melayu: {code_english}{tokenizer.eos_token}', return_tensors = 'pt') outputs = model.generate(input_ids, max_length = 1024) outputs = [i for i in outputs[0] if i not in all_special_ids] print(tokenizer.decode(outputs, spaces_between_special_tokens = False))

输出结果如下：

Berikut adalah penyelesaian kod Python yang terperinci untuk melaksanakan Rangkaian Neural Konvolusi (CNN) untuk pengelasan imej pada dataset CIFAR-10:

import tensorflow as tf
from tensorflow.keras.datasets import cifar10
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from sklearn.model_selection import GridSearchCV
from tensorflow.keras.wrappers.scikit_learn import KerasClassifier
import numpy as np
import matplotlib.pyplot as plt

# Muatkan dan praproses dataset CIFAR-10
(x_train, y_train), (x_test, y_test) = cifar10.load_data()
x_train = x_train.astype('float32') / 255.0
x_test = x_test.astype('float32') / 255.0
y_train = tf.keras.utils.to_categorical(y_train, num_classes=10)
y_test = tf.keras.utils.to_categorical(y_test, num_classes=10)

# Tentukan senibina CNN
def create_model(learning_rate=0.001, dropout_rate=0.5, num_filters=32):
    model = Sequential()
    model.add(Conv2D(num_filters, (3, 3), activation='relu', padding='same', input_shape=(32, 32, 3)))
    model.add(Conv2D(num_filters, (3, 3), activation='relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Dropout(dropout_rate))

    model.add(Conv2D(num_filters * 2, (3, 3), activation='relu', padding='same'))
    model.add(Conv2D(num_filters * 2, (3, 3), activation='relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Dropout(dropout_rate))

    model.add(Conv2D(num_filters * 4, (3, 3), activation='relu', padding='same'))
    model.add(Conv2D(num_filters * 4, (3, 3), activation='relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Dropout(dropout_rate))

    model.add(Flatten())
    model.add(Dense(512, activation='relu'))
    model.add(Dropout(dropout_rate))
    model.add(Dense(10, activation='softmax'))

    optimizer = Adam(learning_rate=learning_rate)
    model.compile(optimizer=optimizer, loss='categorical_crossentropy', metrics=['accuracy'])
    return model

Penjelasan:

a) Prapemprosesan data:

• Dataset CIFAR-10 dimuatkan menggunakan cifar10.load_data().
• Nilai piksel imej dinormalisasi ke julat [0, 1] dengan membahagikannya dengan 255.
• Label ditukar kepada format kategori menggunakan to_categorical().

b) Senibina CNN:

• Senibina CNN terdiri daripada tiga blok konvolusi, setiap satu mengandungi dua lapisan konvolusi diikuti oleh lapisan max-pooling dan regularisasi dropout.
• Bilangan penapis dalam setiap blok konvolusi meningkat secara beransur-ansur (32, 64, 128).

### 高级用法
以下是将印尼文代码翻译成多种语言的示例：
#### 翻译成马来文
```python
code_indon = """
`Untuk menggunakan numpy, pertama-tama, Anda perlu menginstalnya melalui pip. Anda dapat melakukannya dengan menjalankan perintah `pip install numpy` di terminal Anda.
Setelah numpy terinstal, Anda dapat mengimpor modul numpy dengan menambahkan baris `import numpy as np` di awal program Anda.
Berikut adalah contoh beberapa operasi dasar numpy:
``` python
import numpy as np
# membuat array numpy dari list
my_list = [1, 2, 3, 4, 5]
my_array = np.array(my_list)
# membuat array numpy dengan rentang nilai tertentu
my_range = np.arange(0, 10, 2) # nilai awal, nilai akhir, dan loncatan
# membuat array numpy dengan nilai acak
my_random_array = np.random.rand(3, 3) # 3 baris dan 3 kolom
# mengakses elemen array numpy
print(my_array[0]) # mengakses elemen pertama
# melakukan operasi matematika pada array numpy
my_array = my_array + 1 # menambah setiap elemen dengan 1
my_array = my_array * 2 # mengalikan setiap elemen dengan 2
# mengubah bentuk array numpy
my_array = np.reshape(my_array, (2, 5)) # menjadi array 2D dengan 2 baris dan 5 kolom

Itulah beberapa operasi dasar numpy. Anda dapat menemukan dokumentasi resmi numpy di https://numpy.org/doc/stable/. """ input_ids = tokenizer.encode(f'terjemah ke Melayu: {code_indon}{tokenizer.eos_token}', return_tensors = 'pt') outputs = model.generate(input_ids, max_length = 1024) outputs = [i for i in outputs[0] if i not in all_special_ids] print(tokenizer.decode(outputs, spaces_between_special_tokens = False))

输出结果如下：

Untuk menggunakan numpy, pertama sekali, anda perlu memasangnya melalui pip. Anda boleh melakukannya dengan menjalankan perintah pip install numpydi terminal anda. Setelah numpy dipasang, anda boleh mengimport modul numpy dengan menambahkan barisimport numpy as np` pada permulaan program anda. Berikut adalah contoh beberapa operasi asas numpy:

import numpy as np
# membuat array numpy dari senarai
my_list = [1, 2, 3, 4, 5]
my_array = np.array(my_list)
# membuat array numpy dengan nilai tertentu
my_range = np.arange(0, 10, 2) # nilai awal, nilai akhir, dan lompat
# membuat array numpy dengan nilai rawak
my_random_array = np.random.rand(3, 3) # 3 baris dan 3 lajur
# mengakses elemen array numpy
print(my_array[0]) # mengakses elemen pertama
# melakukan operasi matematik pada array numpy
my_array = my_array + 1 # menambah setiap elemen dengan 1
my_array = my_array * 2 # mendarab setiap elemen dengan 2
# mengubah bentuk array numpy
my_array = np.reshape(my_array, (2, 5)) # menjadi array 2D dengan 2 baris dan 5 lajur

Itulah beberapa operasi asas numpy. Anda boleh menemui dokumentasi rasmi numpy di https://numpy.org/doc/stable/.

#### 翻译成爪夷文
```python
code_indon = """
`Untuk menggunakan numpy, pertama-tama, Anda perlu menginstalnya melalui pip. Anda dapat melakukannya dengan menjalankan perintah `pip install numpy` di terminal Anda.
Setelah numpy terinstal, Anda dapat mengimpor modul numpy dengan menambahkan baris `import numpy as np` di awal program Anda.
Berikut adalah contoh beberapa operasi dasar numpy:
``` python
import numpy as np
# membuat array numpy dari list
my_list = [1, 2, 3, 4, 5]
my_array = np.array(my_list)
# membuat array numpy dengan rentang nilai tertentu
my_range = np.arange(0, 10, 2) # nilai awal, nilai akhir, dan loncatan
# membuat array numpy dengan nilai acak
my_random_array = np.random.rand(3, 3) # 3 baris dan 3 kolom
# mengakses elemen array numpy
print(my_array[0]) # mengakses elemen pertama
# melakukan operasi matematika pada array numpy
my_array = my_array + 1 # menambah setiap elemen dengan 1
my_array = my_array * 2 # mengalikan setiap elemen dengan 2
# mengubah bentuk array numpy
my_array = np.reshape(my_array, (2, 5)) # menjadi array 2D dengan 2 baris dan 5 kolom

Itulah beberapa operasi dasar numpy. Anda dapat menemukan dokumentasi resmi numpy di https://numpy.org/doc/stable/. """ input_ids = tokenizer.encode(f'terjemah ke Jawi: {code_indon}\n{tokenizer.eos_token}', return_tensors = 'pt') outputs = model.generate(input_ids, max_length = 1024) outputs = [i for i in outputs[0] if i not in all_special_ids] print(tokenizer.decode(outputs, spaces_between_special_tokens = False))

输出结果如下：

اونتوق مڠݢوناکن نومڤي، ڤرتام-تام، اندا ڤرلو مڠينتسڽ ملالوکن ڤيڤ. اندا داڤت ملاکوکنڽ دڠن منجالنکن ڤرينته ڤيڤ اڤڤل نومڤيد تيمورن اندا. سلڤس نومڤي ترينستل، اندا داڤت مڠيڤور مودول نومڤي دڠن منمبهكن باريسايڤنين نومڤي اس نوؿ` د اول ڤروڬرام اندا. بريکوت اداله چونتوه ببراڤ اوڤراسي داسر نومڤي:

ايمڤورت نومڤي اس نوؿ
# ممبوات اراي نومڤي دري سناراي
my_list = [1, 2, 3, 4, 5]
my_array = np.array(my_list)
# ممبوات اراي نومڤي دڠن رنتڠ نيلاي ترتنتو
my_range = np.arange(0, 10, 2) # نيلاي اول، نيلاي اخير، دان لونچتن
# ممبوات اراي نومڤي دڠن نيلاي اچق
my_random_array = np.random.rand(3, 3) # ٣ باريس دان ٣ لوروس
# مڠاکس ايليمن اراي نومڤي
ڤوجود(my_array[0]) # مڠاکس ايليمن ڤرتام
# ملاکوکن اوڤراسي ماتماتيك ڤد اراي نومڤي
my_array = my_array + ١ # منمبه ستياڤ ايليمن دڠن ١
my_array = my_array * ٢ # مڠاکسس ستياڤ ايليمن دڠن ٢
# مڠوبه بنتوق اراي نومڤي
my_array = np.reshape(my_array, (2, 5)) # منجادي اراي ٢د دڠن ٢ باريس دان ٥ لوروس

اداله ببراڤ اوڤراسي داسر نومڤي. اندا داڤت منموکن دوكومنتاسي ريسمي نومڤي د https://numpy.org/doc/stable/.

#### 翻译成登嘉楼文
```python
code_indon = """
`Untuk menggunakan numpy, pertama-tama, Anda perlu menginstalnya melalui pip. Anda dapat melakukannya dengan menjalankan perintah `pip install numpy` di terminal Anda.
Setelah numpy terinstal, Anda dapat mengimpor modul numpy dengan menambahkan baris `import numpy as np` di awal program Anda.
Berikut adalah contoh beberapa operasi dasar numpy:
``` python
import numpy as np
# membuat array numpy dari list
my_list = [1, 2, 3, 4, 5]
my_array = np.array(my_list)
# membuat array numpy dengan rentang nilai tertentu
my_range = np.arange(0, 10, 2) # nilai awal, nilai akhir, dan loncatan
# membuat array numpy dengan nilai acak
my_random_array = np.random.rand(3, 3) # 3 baris dan 3 kolom
# mengakses elemen array numpy
print(my_array[0]) # mengakses elemen pertama
# melakukan operasi matematika pada array numpy
my_array = my_array + 1 # menambah setiap elemen dengan 1
my_array = my_array * 2 # mengalikan setiap elemen dengan 2
# mengubah bentuk array numpy
my_array = np.reshape(my_array, (2, 5)) # menjadi array 2D dengan 2 baris dan 5 kolom

Itulah beberapa operasi dasar numpy. Anda dapat menemukan dokumentasi resmi numpy di https://numpy.org/doc/stable/. """ input_ids = tokenizer.encode(f'terjemah ke terengganu: {code_indon}{tokenizer.eos_token}', return_tensors = 'pt') outputs = model.generate(input_ids, max_length = 1024) outputs = [i for i in outputs[0] if i not in all_special_ids] print(tokenizer.decode(outputs, spaces_between_special_tokens = False))

输出结果如下：

Kalu gune numpy, pertama-tama, mung kene ngambik die melalui pip. Mung buleh ngate ngah jalankan perintah pip install numpydalang terminal mung. Lepas numpy terinstal, mung buleh ngimport modul numpy tu dengan tambah barisimport numpy as np` dalang awal program mung. Ni contoh sikit-sikit operasi dasar numpy:

import numpy as np
# buat array numpy dari list
my_list = [1, 2, 3, 4, 5]
my_array = np.array(my_list)
# buat array numpy tu dengan rentang nilai tertentu
my_range = np.arange(0, 10, 2) # nilai awal, nilai akhir, ngah lompat
# buat array numpy tu dengan nilai acak
my_random_array = np.random.rand(3, 3) # 3 baris ngah 3 kolom
# akses elemen array numpy
print(my_array[0]) # akses elemen pertama
# buat operasi matematik dalang array numpy
my_array = my_array + 1 # tambah tiap tiap elemen denge 1
my_array = my_array * 2 # darab tiap tiap elemen denge 2
# ubah bentuk array numpy
my_array = np.reshape(my_array, (2, 5)) # jadi array 2D denge 2 baris ngah 5 kolom

Itu la sikit-sikit operasi dasar numpy. Mung buleh nemu dokumentasi rasmi numpy dalang https://numpy.org/doc/stable/.

#### 翻译成霹雳文
```python
code_indon = """
`Untuk menggunakan numpy, pertama-tama, Anda perlu menginstalnya melalui pip. Anda dapat melakukannya dengan menjalankan perintah `pip install numpy` di terminal Anda.
Setelah numpy terinstal, Anda dapat mengimpor modul numpy dengan menambahkan baris `import numpy as np` di awal program Anda.
Berikut adalah contoh beberapa operasi dasar numpy:
``` python
import numpy as np
# membuat array numpy dari list
my_list = [1, 2, 3, 4, 5]
my_array = np.array(my_list)
# membuat array numpy dengan rentang nilai tertentu
my_range = np.arange(0, 10, 2) # nilai awal, nilai akhir, dan loncatan
# membuat array numpy dengan nilai acak
my_random_array = np.random.rand(3, 3) # 3 baris dan 3 kolom
# mengakses elemen array numpy
print(my_array[0]) # mengakses elemen pertama
# melakukan operasi matematika pada array numpy
my_array = my_array + 1 # menambah setiap elemen dengan 1
my_array = my_array * 2 # mengalikan setiap elemen dengan 2
# mengubah bentuk array numpy
my_array = np.reshape(my_array, (2, 5)) # menjadi array 2D dengan 2 baris dan 5 kolom

Itulah beberapa operasi dasar numpy. Anda dapat menemukan dokumentasi resmi numpy di https://numpy.org/doc/stable/. """ input_ids = tokenizer.encode(f'terjemah ke perak: {code_indon}{tokenizer.eos_token}', return_tensors = 'pt') outputs = model.generate(input_ids, max_length = 1024, top_p=0.95, top_k=50, temperature=0.9, do_sample=True,) outputs = [i for i in outputs[0] if i not in all_special_ids] print(tokenizer.decode(outputs, spaces_between_special_tokens = False))

输出结果如下：

Nih lah, ape yang teman teman nak buat ni. Miker nak kene buat macam tu.

**Dok suruh kome pasang numpy dari list, cuba masukkan baris import numpy as np dalam baris yang dah siap.

• Ni contoh beberapa operasi dasar numpy:

import numpy as np
# buat array numpy dari list
my_list = [1, 2, 3, 4, 5]
my_array = np.array(my_list)
# buat array numpy dalam nilai tertentu
my_range = np.arange(0, 10, 2) # nilai awal, nilai akhir, ngan jumpe
# buat array numpy dalam nilai acak
my_random_array = np.random.rand(3, 3) # 3 baris ngan 3 kolom
# access elemen array numpy
print(my_array[0]) # access element pertama
# buat operasi matematik kat array numpy
my_array = my_array + 1 # tambah setiap elemen ngan 1
my_array = my_array * 2 # darab tiap elemen ngan 2
# ubah bentuk array numpy
my_array = np.reshape(my_array, (2, 5)) # jadi array 2D dengan 2 baris ngan 5 kolom

Ate, ni beberapa operasi dasar numpy. Kome boleh cari dokumentasi rasmi numpy kat https://numpy.org/doc/stable/.

### 随机生成更多翻译结果
使用随机采样可以生成更多不同的翻译结果，更多信息可参考[此处](https://huggingface.co/blog/how-to-generate#sampling)。
以下是将一篇新闻片段翻译成沙巴文的示例：
```python
news = """
Ahli ekonomi memuji Belanjawan 2025 dibentangkan Perdana Menteri, Anwar Ibrahim semalam yang disifatkan berfikiran ke depan dan ternyata Madani dengan penekanan lebih ke atas penstrukturan semula ekonomi jangka panjang.

Bawani Lelchumanan dari Business School Universiti Sunway berkata, fokus Belanjawan 2025 untuk meningkatkan daya saing global negara dengan menyokong inisiatif dalam sektor seperti semikonduktor, tenaga hijau, kewangan Islam dan transformasi digital.

Beliau memberitahu FMT, inisiatif ini boleh menjadikan Malaysia pemain berdaya saing di peringkat serantau dan antarabangsa.
"""
input_ids = tokenizer.encode(f'terjemah ke sabah: {news}{tokenizer.eos_token}', return_tensors = 'pt')
outputs = model.generate(
    input_ids, 
    max_length=200, 
    top_p=0.95,
    top_k=50,
    temperature=0.9,
    do_sample=True,
    num_return_sequences=5
)
out = tokenizer.batch_decode([[i for i in o if i not in all_special_ids] for o in outputs])
for o in out:
    print(o.strip(), '\n------\n')

输出结果如下：

Tingu ja la, mungkin ada buyuk-buyuk kasi betripak bah, sidak yang kritik pasal bajet 2025 yang papai dekat Anwar tu? Kin panas betul la cerita hari tu. Dorang ni main otak-otak ja, tapi orang tingu ja kerajaan sudah ndapok. Tingu ja la, mungkin ada buyuk-buyuk yang kita nda tau. Bah, mungkin ada buyuk-buyuk yang kita nda tau. Anu bah, mungkin ada buyuk yang kita nda tau. Ndapapa kalau nda faham lagi? Anu bah, kita mesti bikin kerajaan jadi lebih banyak tempat yang lagi banyak lagi yang boleh buat negeri kita jadi lebih banyak. 
------

Bah, palui betul keadaan orang ramai pasal bajet 2025 yang dibahaskan oleh Perdana Menteri, Anwar Ibrahim tu, tu sebab dorang tingu saja, dorang fikir betul-betul depan, nda payah la nak betulkan ekonomi lama-lama.

Bawani Lelchumanan dari Business School Sunway tu cakap, kita gabung tu untuk naikkan negara kita jadi gulung tikar kalau mau masuk sektor semikonduktor, ekonomi hijau, ekonomi Islam, ndak payah la ubah ekonomi digital tu.

Kito bilang dari FMT, mungkin kita boleh buat Malaysia jadi gulung tikar di peringkat serantau. Sia boleh buat Malaysia jadi pemain kuat di peringkat antarabangsa.

Anu bah, kalau ada apa-apa nda, tanya dia? Tingu saja la, mungkin ada buyuk-buyuk yang kita nda tau. Tingu ja, mungkin ada cara lain yang sia-kita mau. Bilang la, mungkin ada 
------

Bah, kunuk sia mau bilang sama dia: 
Anwar kunuk kerajaan kita dulu suka tingu, hari tu dia mikir depan-depan, betul ka? Lah, palui betul la kalau dorang main-main. Tingu saja, ekonomi kita ni macam dulu-dulu saja. Bawa betul la, bilang pasal ni:

Sia di sini nda mau betrip-trip bah, sama sama dia-kita. Dorang bilang macam-macam mau bikin semua ini orang. Kalau kita mau maju sama-sama, mesti ada duit lebih.

Bah, itu cerita pasal kerajaan ni, tapi kalau kita mau maju, boleh buyuk-buyuk. Kalau betul sia main-main, memang sia tingu saja la. Kalau ada apa-apa yang kita mau, kita mesti la mau betrip sama sama-sama. Tingu saja la, mungkin ada yang mau kita nda jadi lebih kuat sama n 
------

Bah, palui betul la si ekonomi ni, baru-baru ni ada orang puji-puji pasal bajet 2025 tu. Kamurang nampak macam dulu dah fikir-fikir dulu. Tapi semua orang cakap elok-elok, orang kita semua mau pastikan negara kita ni jadi orang yang mau ubah. Kin panas bah, orang Sabah cakap kita boleh buat sesuatu.

Anu bah, mungkin ada buyuk-buyuk yang kita nda tau. Kalau ada yang mau, kita bikin perubahan apa-apa saja. Nanti kita semua jadi orang yang nak melabur sama orang yang mau maju sama negara ni. Kin panas bah, tapi kalau semua orang pandai, mesti la kita jaga diri. Kamurang fikir macam mana? 
------

Bah, kunuk sia mau bilang pasal bah, mungkin ada buyuk-buyuk yang nda kasi baik dalam negara kalau kita mau baik-baik saja. Anu bah, sudah ada orang-orang Malaysia yang kita nda tau sama kasi orang-orang yang ada kepentingan, sudah tentu ada orang yang mau bilang apa-apa. Bawani Lelchumanan dari Universitas Sunway tu cakap, duit negara kita ni masih ada yang mau kita maju, dorang mau bikin duit lebih, jangan sampai kita jadi juara. Ndak mau bikin Malaysia jadi juara untuk lawan, tapi mungkin kita perlu ada cara lain. 
------

🔧 技术细节

加速推理

可以使用SDPA分支来加速推理，或者完成此PR。

微调自己的数据集

我们使用从此处分叉的T5 SDPA多包进行微调，虽然文档不太完善，但这些脚本应该也能正常工作。

📦 安装指南

本模型基于transformers库，可通过以下命令安装：

pip install transformers

📄 许可证

文档中未提及许可证相关信息。若有需要，请进一步查阅项目相关资料。