Zamislite: vaše zvono na vratima registrira osobu. Prije nego što stignete do zaslona, AI model je analizirao snimku kamere, identificirao osobu kao dostavljača, usporedio doba dana s vašim kalendarom i generirao personaliziranu glasovnu poruku: „Dostavljač DHL-a upravo predaje paket – želite li obavijest na svoj pametni telefon?"
Ono što zvuči kao znanstvena fantastika danas je stvarnost s lokalnom umjetnom inteligencijom u pametnom domu. Kombinacija Home Assistant kao središnje automatizacijske platforme, Frigatea za AI-podržanu analizu kamera i Large Language Models (LLM-ova) za semantičku analizu slika i teksta čini dom ne samo povezanim, već uistinu inteligentnim.
U ovom članku saznajte kako koristiti lokalni AI u svom pametnom domu – od LLM-podržanih kamera preko automatske glasovne kontrole do potpuno automatiziranih sigurnosnih radnih tokova. Sva rješenja rade lokalno, u skladu s privatnošću i bez ovisnosti o cloudu.
Home Assistant kao AI središte
Home Assistant se etablirao kao vodeća open-source platforma za pametni dom. Uvođenjem Assist pipeline-ova i izvorne podrške za lokalne AI modele, Home Assistant je postao idealno AI središte. Umjesto ovisnosti o cloud uslugama poput Alexa ili Google Assistant, možete izravno integrirati lokalne LLM-ove putem Ollame ili Llama.cpp.
Konfiguracija se vrši putem Assist Pipeline Managera: odaberite lokalni jezični model kao Conversation Agent, konfigurirajte Speech-to-Text uslugu (npr. Whisper) i lokalni TTS pogon (npr. Piper). Vaš pametni dom već govori vaš jezik – bez da ijedan bajt napušta vašu mrežu.
Praktičan primjer: "Kolika je današnja potrošnja energije?" – Vaš lokalni LLM očitava odgovarajuće senzore, izračunava dnevnu potrošnju i odgovara glasovnom izlazom. To je omogućeno zahvaljujući HA-MCP alatima koji LLM-u pružaju strukturirani pristup svim entitetima i uslugama.
AI analiza kamera s Frigateom
Frigate je najmoćniji open-source mrežni video rekorder (NVR) s ugrađenim AI prepoznavanjem objekata. Za razliku od tradicionalnih nadzornih sustava koji reagiraju samo na pokret, Frigate analizira svaku sliku s TensorFlow ili OpenVINO modelom u stvarnom vremenu i pouzdano razlikuje osobe, vozila, životinje i objekte.
Prepoznavanje radi potpuno lokalno na standardnom hardveru – Google Coral TPU ili NVIDIA GPU dovoljni su za istovremenu analizu više kamera s visokom brzinom slika. Integracija u Home Assistant je besprijekorna putem službene Frigate integracije i MQTT-a.
„Frigate smanjuje lažne alarme za preko 90 %. Umjesto 50 obavijesti dnevno zbog pauka i sjena, primate poruku samo kad je stvarno prepoznata osoba ili vozilo.“
LLMVision: Kad kamera razumije kontekst
Sljedeći evolucijski korak je LLMVision – Home Assistant integracija koja povezuje multimodalne LLM-ove (poput LLaVA, MiniCPM-V ili GPT-4V) izravno s vašim kamerama. Dok Frigate prepoznaje da je objekt prisutan, LLMVision razumije što se točno događa.
Radni tok je elegantan: Frigate prepoznaje objekt, snima sliku i šalje je multimodalnom LLM-u. LLM analizira sliku i daje detaljan opis: "Osoba u crvenoj jakni s paketom u ruci približava se ulaznim vratima. Moglo bi se raditi o dostavi.“ Ovaj se opis vraća u Home Assistant i može se koristiti za visokointeligentne obavijesti.
S Frigate Vision Blueprintom za Home Assistant možete konfigurirati ovo postavljanje u nekoliko minuta: odaberite kamere, definirajte intervale hlađenja, konfigurirajte LLM i već primate push obavijesti sa slikom i AI opisom.
Od prepoznavanja do automatizacije
Prava snaga AI integracije očituje se u mogućnostima automatizacije. Neki praktični primjeri:
Prepoznavanje paketa: Frigate prepoznaje osobu koja ostavlja paket. LLMVision potvrđuje "dostava paketa“. Home Assistant isključuje zvono na vratima i šalje push obavijest "Paket je dostavljen“.
Personalizirani doček: AI prepoznaje poznata lica. LLM aktivira individualni scenarij rasvjete, najavljuje sobnu temperaturu i informira o novim porukama – sve putem glasovne izlazne jedinice.
Sigurnosna automatizacija: Pri prepoznavanju nepoznatog vozila na prilazu nakon 22 sata aktivira se vanjska rasvjeta, pokreće snimanje kamere i šalje alarmna poruka s AI opisom.
Tehnička struktura – Kako uspješno integrirati
Tipičan stack za AI-podržani pametni dom:
Hardver: Home Assistant (Raspberry Pi 5, NUC ili Proxmox-LXC) + Frigate (s Google Coral ili NVIDIA GPU) + Ollama (za lokalne LLM-ove, idealno na GPU poslužitelju).
Softver: Home Assistant OS/Core + Frigate integracija (putem HACS-a) + LLMVision + MQTT (Mosquitto) + Ollama/llama.cpp.
AI modeli: Prepoznavanje objekata: Frigate modeli (učinkoviti, trenirani za nadzor). Analiza slika: LLaVA 7B/13B ili MiniCPM-V. Glasovna kontrola: Qwen 3 8B ili Llama 3.1 8B.
„Cijeli AI stack – od prepoznavanja kamere preko LLM analize do glasovne kontrole – kod profesionalnog postavljanja radi 100 % lokalno. Bez cloud troškova, bez prosljeđivanja podataka, maksimalna privatnost.“
Prednosti za poduzeća
AI integracija u pametnom domu također je vrlo relevantna za poduzeća:
Upravljanje zgradama: Inteligentna kontrola pristupa s prepoznavanjem lica, automatizirani sustavi zaključavanja, AI-optimizirana kontrola grijanja i ventilacije smanjuju troškove energije do 30 %.
Sigurnost: 24/7 AI nadzor s prepoznavanjem osoba i vozila. Sustav pouzdano razlikuje zaposlenike, posjetitelje i neovlaštene osobe.
Zaključak: Budućnost inteligentne zgrade je lokalna i AI-upravljana
Kombinacija Home Assistant, Frigate i lokalnih LLM-ova označava prekretnicu za automatizaciju zgrada. Ono što je nekad zahtijevalo skupe vlasničke sustave, danas je ostvarivo s open-source softverom i pristupačnim hardverom – s superiornom inteligencijom i apsolutnom suverenošću podataka.
NOVA DIGITAL podržava poduzeća u koncepciji i implementaciji – od odabira hardvera do integracije u postojeću IT infrastrukturu. Kontaktirajte nas za individualno savjetovanje.