Karen TheEditor V2 STRICT Mistral 7B

🚀 カレンはあなたの文章を編集するエディターです。(v.2) 厳格版

カレンは、文章の文法やスペルの誤りを修正し、文章をより良いものにするエディターです。他のチャットボットとは異なり、カレンはあなたの文章のスタイルを尊重しつつ、文法的な誤りを修正します。

📦 ライセンス

このモデルは、Llama 2 のライセンスの下で提供されています。

✨ 主な機能

バージョン 2 の特徴

カレンのバージョン 2 は、以前のバージョンとは全く異なるデータセットとベースモデルを使用しています。

2 種類のバージョン

1. 厳格版 (このバージョン)：カレンはあなたの原文に大きな変更を加えず、主に文法とスペルを修正します。あなたが自分の文章について把握していることを前提としています。
2. 創造的版 (こちら)：カレンは必要に応じて、文脈の改善や言い換えを提案することがあります。ワインを一杯飲んだ後のカレンのような感じです。

主な目的

カレンの主な目的は、米国英語の文法とスペルの誤りを修正し、文章のスタイルを変更しないことです。また、一般的なESLの誤りを特定して修正することにも長けています。

• 動詞の時制誤り：必要な時制が過去形のときに現在形を使ったり、その逆の誤りや、進行形と単純形の時制の混乱。
• 主語と動詞の一致：主語と動詞の数の一致が取れていない誤り、例えば複数の主語に単数の動詞を使ったり、その逆。
• 冠詞 (a, an, the)：冠詞の誤用や省略、例えば "a" の代わりに "an" を使ったり、その逆や、定冠詞 "the" の過剰使用や省略。
• 前置詞：前置詞の誤用、例えば "in" の代わりに "on" や "at" を使ったり、必要な前置詞を省略する誤り。
• 語順：文の語順の誤り、特に疑問文や否定文での誤りや、副詞や形容詞の位置の誤り。
• 複数形：名詞の複数形の誤り、例えば必要なときに "-s" や "-es" を付けない誤り。
• 代名詞の誤り：主格代名詞と目的格代名詞の混乱や、所有格代名詞の誤用。
• 二重否定：標準英語で文法的に誤っている二重否定の使用。
• 助動詞：can, could, will, would, should などの助動詞の誤用。
• 似た単語の混乱：発音が似ているが意味と綴りが異なる単語の混乱 (例えば "their," "there," "they're")。
• 単数形と複数形の一致の欠如：文中の単数形と複数形の名詞と動詞の一致の誤り。

将来の目標

より大きなモデルを使用し、モデルが見逃している文法のケースを追加します。また、より大きなデータセットを使用します。

🚀 クイックスタート

使い方

カレンは、一度に1段落または文章ブロックを送信して使用することを想定しています。

モデルはChatMLを使用

<|im_start|>system
<|im_end|>
<|im_start|>user
Edit the following text for spelling and grammar mistakes: {paragraph of text} <|im_end|>
<|im_start|>assistant

実際の文章の前に "Edit the following text for spelling and grammar mistakes:" という前置文を付けることで、カレンが文章について話し始めることを防ぎます。

推奨設定

• Temperature: 0.7
• top_p: 0.1
• top_k: 40
• repetition penalty: 1.18

カレンはチャットでも使用できます。ただし、文章が長い会話でカレンが関与する場合、カレンはあなたのメッセージを校正支援が必要と解釈する可能性があり、単にあなたがカジュアルなチャットで彼女を使用していることを認識するだけではなくなることがあります。

使用例

入力

Edit the following text for spelling and grammar mistakes: I see future writing more about you writing the story any way you can and LLM editing it and making it into a proper fiction. That seems to be more satisfying way where you could feel you actually had done something creATIVE. So human is the creative, LLM is the burger flipping intern. The opposite is what many people are trying rn. Make LLM to invent story (from premise, to creating outline to writing actual chapters) and the human to somehow assemble it from those pieces. So LLM is the creative man, and human is the floor polisher. I can't believe a normal person would find it satisfying long term. So in my view, the job of editor would be replaced by Ai, not the job of author.

(Grammarly Score: 48)

厳格版出力

I see the future of writing being more about you writing the story any way you can and having an AI like LLM edit it and make it into a proper fiction. That seems to be a more satisfying way where you could feel you actually did something creative. So humans are the creative ones, while LLMs are the burger-flipping interns.

On the other hand, many people are currently trying to do the exact opposite. They want to make LLMs create stories (from premises, to outlining, to writing entire chapters). And then they want humans to somehow piece them together from these parts. In this scenario, LLMs become the creative individuals, and humans become the floor polishers.

I can't imagine a regular person finding that satisfying over the long run.

In my opinion, the role of an editor will eventually be taken over by AI, not the role of an author.

(Grammarly Score: 93)

創造的版出力

I see the future of writing being more focused on you writing the story any way you can and having an AI like GPT-3 edit it and turn it into a proper piece of fiction. This seems to be a more satisfying approach where you can truly feel that you have done something creative. In this scenario, humans remain the creative force, while the AI acts as the burger flipping intern.

On the other hand, there are those who argue that we should let the AI generate stories from scratch - from coming up with a premise, to outlining the plot, to writing individual chapters. They believe that the role of the human should then become one of assembling these pieces together. In this case, the AI becomes the creative mind, and the human takes on the role of a floor polisher.

I cannot imagine how someone could find this satisfying over the long term. Therefore, in my opinion, the job of the editor will eventually be taken over by AI, not the job of the author.

(Grammarly Score: 83)

🔧 技術詳細

トレーニング

このモデルは、別のLlamaモデル (Darth Karen) とPythonスクリプトによって意図的に誤りが挿入された架空/非架空の米国英語の文章を逆トレーニングしています。

まとめ

おそらく10種類以上のバージョンを経て、現在のモデルはかなりうまく機能していますが、時々 (しかししばしば議論の余地がある) 文法の誤りを見逃すことがあります。これらの制限は、7Bのパラメータに関連しているようです。モデルのサイズが小さすぎて、入力のさまざまなニュアンスを細かく理解することができないようです。これは私の他の調査結果と一致しており、Mistralモデルは独自の文章を生成する際にはかなりうまく機能しますが、理解能力は完全ではなく、やはり7Bのパラメータに関連しています。

目標は、文章のスタイルを変更しないモデルを作成することでした。多くのLLMモデルは、文章を編集するように依頼されると、文章がすでに良い状態であっても文章を書き換えようとします。文章を修正する (そしてそのスタイルを変更しない) と、そのままコピーする間の適切なバランスを見つけることは、このような小さなモデルにとって非常に難しいことが判明しました。

厳格版のモデルは、あなたがすでに良いライターであり、手助けを必要とせず、あなたが書いたすべての単語に意味があることを前提としています。

📚 ドキュメント

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。