Cómo Ejecutar LLMs Localmente en tu Laptop

En la serie 'How To' de MIT Technology Review, se ofrece una guía sobre cómo ejecutar un modelo de lenguaje grande (LLM) en tu propia laptop. Simon Willison, conocido por su blog sobre LLM locales, ha preparado un plan para el fin del mundo. Su idea es almacenar varios de sus modelos favoritos de LLM de peso abierto en un USB, los cuales pueden descargarse y ejecutarse localmente. En caso de que la civilización humana colapse, Willison planea usar estos modelos para ayudar a reiniciar la sociedad. Según él, 'es como tener una versión extraña y condensada de Wikipedia, para ayudar a reiniciar la sociedad con mi pequeño USB'.

No es necesario planificar para el fin del mundo para querer ejecutar LLMs en tu propio dispositivo. Willison ha creado una comunidad de entusiastas que también buscan ejecutar LLMs localmente. En la plataforma r/LocalLLaMA, dedicada a este tema, hay más de 500,000 miembros. Las personas interesadas en la privacidad, que desean liberarse del control de las grandes empresas de IA, o simplemente los que disfrutan de la experimentación, encuentran en los modelos locales una alternativa atractiva a herramientas como ChatGPT, que dependen de la web.