Gemma 2 9B

Gemma 2 9B IT是谷歌Gemma 2 9A基礎模型的指令調優版本。它在8萬億個網絡數據、代碼和數學內容的令牌上進行了訓練。該模型具有滑動窗口注意、logit軟封頂和知識提取技術。它通過使用WARP進行監督微調、蒸餾、RLHF和模型合併，為對話應用程序進行了優化。