Sikeres lett a GPT4ALL telepítése linuxos környezetben, melynek segítségével internetkapcsolat nélkül is lehet futtatni több LLM (large language module) -et. Közvetlen sikerült telepíteni egy I3 processzorral működő laptopon (8 GB operatív tárral) a Llama 3.2 3B -t. A modell 3 milliárd paraméterrel 4 GB RAM felhasználásával működik. Kicsit lassú, de egyszerű kódolási feladatokat értelmezni tudja és használható megoldásokat tudott generálni.

Egy chat folyamat eredménye a következő kép tartalma.

A Python SDK is telepítésre került, az is működőképes. 🙂