TURNA

🚀 TURNA模型卡片

TURNA是基于UL2框架的土耳其语模型，适用于理解和生成任务。在三项生成任务和五项理解任务中的评估显示，TURNA在理解任务中优于多个多语言模型，并能与单语言土耳其语模型相媲美。该模型仅供非商业学术研究使用。

🚀 快速开始

你可以在我们库的GitHub 页面 找到技术指南。

✨ 主要特性

• 适用于土耳其语的理解和生成任务。
• 在多项任务评估中表现出色，优于多个多语言模型。
• 可通过微调解决自定义土耳其语任务。

📦 安装指南

文档未提及安装步骤，故跳过。

💻 使用示例

文档未提供代码示例，故跳过。

📚 详细文档

模型详情

• 36个编码器和解码器层
• 16个注意力头
• 词元嵌入维度为1024
• 多层感知机层有2816个隐藏维度，并采用Gated GeLu激活函数
• 输入层和分类层的参数不共享
• 11亿参数
• 使用在10GB文本上训练的unigram子词分词器，文本由OSCAR、OPUS和维基百科的随机子集组成
• 词汇量大小：32000个词元 + 128个特殊词元

模型描述

• 开发者：博阿兹齐大学计算机工程系TABILAB（特别感谢VNGRS - AI分享他们的分词器）
• 资助方：感谢谷歌TPU研究云项目为我们提供在TPU v3 - 8机器上预训练模型的积分。感谢TETAM和BOUN CMPE提供用于微调评估实验的GPU集群访问权限。
• 模型类型：基于Transformer的编码器 - 解码器
• 语言（NLP）：土耳其语
• 许可证：该模型仅供非商业学术研究使用。

模型来源

• 仓库：训练代码，微调库
• 论文：Arxiv论文

使用方式

直接使用

该模型可用于研究目的。你输入一些文本，模型会尝试预测后续单词。

下游使用

可以使用 我们的库 对该模型进行微调，以解决涉及土耳其语的自定义任务。还可以进一步训练该模型，使其在对话用例中更有帮助、更少有害。

超出范围的使用

任何商业或恶意活动。

偏差、风险和局限性

我们参考了Flan - T5的 官方模型卡片：

根据Rae等人（2021年）的研究，包括Flan - T5在内的语言模型有可能被用于有害的语言生成。在未对特定应用的安全性和公平性问题进行事先评估的情况下，不应直接将Flan - T5用于任何应用。

伦理考虑和风险

...（编辑注：该模型）在未对明确内容进行过滤或对现有偏差进行评估的大量文本数据上进行了微调。因此，模型本身可能容易生成同样不适当的内容或复制基础数据中固有的偏差。

已知局限性

...（编辑注：该模型）尚未在现实世界应用中进行测试。

敏感使用

...（编辑注：该模型）不应应用于任何不可接受的用例，例如生成辱骂性言论。

训练详情

• 预训练使用了混合去噪器（MoD）
• 该版本的模型训练了1740000步
• 批量大小：48
• 输入和输出长度：512
• 实际接触了427亿个词元

更多信息请参考论文。

评估

我们尚未以任何方式对模型的偏差进行评估。然而，我们针对多个理解和生成任务进行了微调：

• 释义：TAT和OST (来源)
• 摘要和新闻标题生成：TRNews 和 MLSUM
• 命名实体识别：WikiANN 和 MilliyetNER
• 词性标注：两个通用依存关系土耳其语树库，IMST，BOUN。
• 语义文本相似度：STSb - tr
• 自然语言推理：NLI - TR
• 文本分类：产品评论，TTC4900，以及 推文情感

更多信息请参考论文。

环境影响

可以使用 Lacoste等人（2019年） 提出的 机器学习影响计算器 来估算碳排放。

• 硬件类型：TPU v3 - 8
• 使用时长：约400小时
• 云服务提供商：谷歌云
• 计算区域：europe - west4 - a
• 碳排放：64.52千克CO₂

技术规格

更多信息请参考论文。

引用

BibTeX

即将推出！

APA

即将推出！

模型卡片作者

论文作者。

模型卡片联系人

Onur Güngör

🔧 技术细节

文档未提供具体技术细节（>50字），故跳过。

📄 许可证

该模型仅供非商业学术研究使用。