IA de texto local: qué puede hacer un modelo como Gemma en tu propia PC

Cuando la mayoría de la gente piensa en inteligencia artificial de texto, piensa en un chat en la nube: escribís algo, tus datos viajan a un servidor ajeno, y una respuesta vuelve unos segundos después. Lo que menos gente sabe es que hoy es totalmente viable correr un modelo de lenguaje capaz, entero, dentro de tu propia PC — sin que un solo dato salga de tu disco.

Qué cambia al correrlo local

Un modelo local no depende de internet, no tiene límite de uso mensual, y no manda tus prompts a ningún servidor externo. La contrapartida es real: corre más lento que un servicio en la nube con hardware dedicado, y el tamaño del modelo que podés usar está limitado por la memoria de tu propia placa de video.

Para tareas de escritura estructurada — guiones, resúmenes, extracción de datos de un texto — un modelo local de tamaño mediano (en el rango de los diez a quince mil millones de parámetros) ya es sobradamente capaz, siempre que el prompt esté bien armado.

El truco que nadie cuenta: el presupuesto de tokens

Un problema real y poco documentado de varios modelos actuales es que "piensan" internamente antes de escribir la respuesta final, y ese razonamiento consume presupuesto de tokens de forma impredecible — a veces la respuesta llega vacía simplemente porque el modelo se quedó sin espacio pensando, no porque no supiera responder. La solución más robusta no es subir el límite a un número enorme "por las dudas", sino reintentar automáticamente duplicando el presupuesto solo cuando hace falta.

Grounding: la diferencia entre inventar y saber

Un modelo de texto, local o en la nube, puede inventar datos específicos con total confianza si escribe solo desde su memoria de entrenamiento. La forma real de reducir eso es buscar hechos reales antes de escribir — inyectar resultados de una búsqueda real en el prompt en vez de confiar en que el modelo "se acuerde bien".