Descifrando los nombres de modelos LLM abiertos en Hugging Face

(Pre-estreno y contenido extra sólo en Mintter!)
En el episodio de hoy vamos a descifrar todos y cada uno de los detalles de los nombres de los modelos grandes de lenguaje abiertos. En la página de Hugging Face de TheBloke, podemos encontrar miles de modelos cuyos nombres parecen indescifrables. Hasta hoy. Gracias a este video podrás filtrar de forma rápida los modelos, formatos y programas que más te convienen para poder ejecutar tu propio LLM local.

Modelos quantizados recomendados de LLM

Recuadrados en rojo las quantizaciones recomendadas: Q4_K_M y Q5_K_M.

Estructura de los distintos elementos y componentes de un modelo

Autores y elementos que conforman el modelo dolphin-2.2-70B-GGUF