Cabraqwen7b

🚀 Cabra Qwen 7b

このモデルは、Qwen 1.5 7b Chat を内部データセットCabra 10kでファインチューニングしたものです。このモデルはポルトガル語に最適化されており、ネイティブにポルトガル語で応答します。ベースモデルと比較して、いくつかのブラジルのベンチマークで改善が見られます。

私たちのデモをこちらで試してみてください: CabraChat。

私たちの他のモデルをご覧ください: Cabra。

✨ 主な機能

このモデルは、ポルトガル語に特化したファインチューニングが行われており、ブラジルの様々なベンチマークで良好な性能を示します。また、生成モデルに関する研究や、生成モデルの制限やバイアスの調査・理解に役立ちます。

📦 インストール

ドキュメントにインストール手順が記載されていないため、このセクションは省略されました。

💻 使用例

基本的な使用法

<s> [INST] What makes Brasília special? [/INST] Brasília, a capital do Brasil, é uma cidade única e especial por várias razões. Estabelecida como o novo centro político do país em 1960, ela foi projetada pelo arquiteto Oscar Niemeyer e pelo urbanista Lúcio Costa para ser um símbolo da modernidade e progresso brasileiro.

Aqui estão algumas características que tornam Brasília especial:

Design Urbano: A cidade é conhecida por seu design inovador e futurista, com seus arranha-céus imponentes, grandes praças abertas e espaços verdes extensos. O layout da cidade segue um padrão de grade, com cada distrito representando diferentes aspectos da cultura e história brasileira.

Praça dos Três Poderes: Está enorme praça central é cercada pelos prédios da Assembleia Nacional (conhecido como "Palácio do Planalto"), Senado Federal e Supremo Tribunal Federal. É um marco icônico da cidade e um local popular para eventos políticos.

Monumentos e Arquitetura: Brasília possui muitos monumentos impressionantes e edifícios arquitetônicos notáveis, incluindo o Museu Nacional de História Natural e Ciências, o Planetário Anhembi, o Palácio da Alvorada e a Basílica Nossa Senhora Aparecida.

Espaços Verdes: A cidade é cercada por parques e reservas naturais, proporcionando aos moradores e visitantes amplos espaços para relaxar, praticar esportes ou simplesmente apreciar a beleza natural do ambiente.

Cultura e Eventos: Como a capital nacional, Brasília hospeda vários festivais culturais e eventos importantes ao longo do ano, como o Festival Internacional de Cinema de Brasília, o Carnaval das Nações Unidas e o Festival de Música de Verão de Brasília.
Significado Histórico: A construção de Brasília marcou um momento significativo na história do Brasil, pois simbolizou sua independência política e busca pela modernização. Ela também serviu como exemplo para outros países em desenvolvimento que buscavam criar novas capitais.

Inclusão Social: Brasília foi projetada levando em consideração a inclusão social, com bairros bem planejados distribuídos uniformemente pela cidade para garantir acesso igualitário à educação, saúde e serviços públicos.

Em resumo, Brasília é uma cidade única e especial devido ao seu design inovador, pontos turísticos icônicos, conexão histórica com o desenvolvimento do Brasil e compromisso com a inclusão social.
</s>

📚 ドキュメント

モデルの詳細

モデル: Qwen 1.5 7b chat

Qwen1.5は、さまざまなモデルサイズの言語モデルを含む言語モデルシリーズです。各サイズについて、ベース言語モデルとチャットモデルをリリースしています。これは、SwiGLU活性化関数、QKVアテンションバイアス、グループ化されたクエリアテンション、スライディングウィンドウアテンションと完全アテンションの混合などを備えたTransformerアーキテクチャに基づいています。さらに、複数の自然言語とコードに適応する改善されたトークナイザーを備えています。ベータ版では、一時的にGQAとSWAと完全アテンションの混合を含めていません。

データセット: Cabra 10k

これはファインチューニング用の内部データセットです。近日中にリリース予定です。

量子化 / GGUF

「quantanization」ブランチには、さまざまなバージョン（GGUF）の量子化モデルを配置しています。

トレーニングパラメータ

- learning_rate: 1e-05
- train_batch_size: 4
- eval_batch_size: 4
- seed: 42
- distributed_type: multi-GPU
- num_devices: 2
- gradient_accumulation_steps: 8
- total_train_batch_size: 64
- total_eval_batch_size: 8
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: cosine
- lr_scheduler_warmup_ratio: 0.01
- num_epochs: 3

フレームワーク

• Transformers 4.39.0.dev0
• Pytorch 2.1.2+cu118
• Datasets 2.14.6
• Tokenizers 0.15.2

評価結果

使用目的

このモデルは、現時点では研究目的での使用を想定しています。可能な研究分野やタスクには、以下が含まれます。

• 生成モデルに関する研究。
• 生成モデルの制限やバイアスの調査と理解。

商用利用は禁止されています。研究目的のみです。

📄 ライセンス

このモデルは、CCライセンスの下で提供されています。