modelos moe

Mistral AI lanzó Small 4, un modelo MoE de 119B parámetros con 128 expertos bajo Apache 2.0. Unifica razonamiento, multimodal y coding con contexto de 256K tokens.