J

Japanese Gpt Neox 3.6b

由 rinna 开发
一个拥有36亿参数的日语GPT-NeoX模型,基于Transformer架构,在3125亿token的日语语料上训练。
下载量 34.74k
发布时间 : 5/17/2023

模型简介

这是一个基于GPT-NeoX架构的日语语言模型,主要用于文本生成任务,支持日语自然语言处理。

模型特点

大规模日语预训练
在约3125亿token的日语语料上训练,包括CC-100、C4和日语维基百科。
优化的分词器
使用基于sentencepiece的分词器,支持UTF-8字节回退,保留空格信息。
高性能表现
最终验证困惑度达到8.68,表明模型具有优秀的语言理解能力。

模型能力

日语文本生成
语言建模
自然语言处理

使用案例

文本生成
哲学文本续写
给定哲学主题的开头,模型能够生成连贯的后续内容。
示例中成功生成了关于西田幾多郎哲学的连贯文本。
教育研究
日语语言研究
可用于研究日语语言模型的表现和特性。
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase