Generic selectors
Exact matches only
Search in title
Search in content
Post Type Selectors
post

Privát AI, helyi számítógépen: az NVIDIA megoldotta az érzékeny adatok AI-kezelését

Egy új AI-alkalmazás lehet az a produktivitási eszköz, amire a bizalmas információkkal bánó felhasználóknak mindig is szükségük volt. Megváltást hozhat a „Hyperlink” ügynök.

A Nexa.ai új „Hyperlink” ügynöke egy olyan AI-keresési megközelítést vezet be, amely teljes egészében helyi hardveren fut. Az alkalmazást Nvidia RTX AI PC-khez tervezték, egy eszközre telepített asszisztensként működik, a személyes adatokat pedig rendezett tudássá alakítja.

Az Nvidia közleménye alapján a rendszer nem küldi el a lekérdezéseket távoli szerverekre, hanem mindent helyben dolgoz fel, így gyorsabb működést és nagyobb adatvédelmet biztosít.

Privát AI, helyi sebességgel

A Hyperlinket egy RTX 5090 rendszerrel tesztelték. A beszámolók szerint akár háromszor gyorsabb indexelést és kétszeres nagy nyelvi modellkövetkeztetési sebességet ért el a korábbi verziókhoz képest.

Ezek az adatok arra utalnak, hogy a rendszer a legtöbb jelenlegi AI-eszköznél hatékonyabban képes átvizsgálni és rendszerezni több ezer fájlt, egyetlen számítógépen.

A Hyperlink nem egyszerűen keresőkifejezéseket párosít, hanem értelmezi a felhasználói szándékot, amikor az LLM-ek következtetési képességeit helyi fájlokra alkalmazza. Ezzel akkor is megtalálja a releváns anyagokat, ha a fájlnevek homályosak vagy nem kapcsolódnak a tartalomhoz.

Ez az elmozdulás a statikus kulcsszavas kereséstől a kontextus alapú megértés felé összhangban áll a generatív AI mindennapi produktivitási eszközökbe való egyre erősebb beépülésével.

A rendszer több dokumentumból is képes összekapcsolni egymáshoz tartozó ötleteket, és rendezett válaszokat ad, egyértelmű hivatkozásokkal.

A legtöbb felhőalapú asszisztenssel ellentétben a Hyperlink az összes felhasználói adatot az eszközön tartja, így a vizsgált fájlok – a PDF-ektől és diáktól a képekig – tényleg privát közegben maradnak, és semmilyen személyes vagy bizalmas információ nem hagyja el a számítógépet.

Ez a működési elv olyan szakemberek számára vonzó, akik érzékeny adatokkal dolgoznak, de továbbra is szeretnék kihasználni a generatív AI teljesítményét.

A felhasználók gyors, kontextusfüggő válaszokat kapnak anélkül a kockázat nélkül, amit a távoli tárolás vagy feldolgozás jelentene.

Hogyan működik az NVIDIA számítógépeken futó ügynök?

Az Nvidia RTX-hardverre optimalizált megoldása nemcsak a keresési teljesítményt javítja. A cég szerint a visszakeresésen alapuló generálás (RAG) most akár háromszor gyorsabban indexeli a sűrű adatokat tartalmazó mappákat.

Egy tipikus, 1 GB méretű gyűjtemény, amelynek az összeállítása korábban csaknem 15 percig tartott, most körülbelül 5 perc alatt készül el.

A következtetési sebesség javulása a Techradar szerint azt is jelenti, hogy a válaszok gyorsabban jelennek meg, így a mindennapi feladatok – például a meetingre való felkészülés, a tanulás vagy a jelentéselemzés – még gördülékenyebbé válnak.

A Hyperlink a helyi következtetés és a GPU-gyorsítás kombinációjával egyszerre nyújt kényelmet és kontrollt, így hasznos AI-eszközzé válik azok számára, akik a legnagyobb biztonságban akarják tartani az adataikat, de közben nem akarnak lemaradni az AI kereső-elemző-kutató-rendszerező képességeiről.

A címlapkép illusztráció. Forrás: NVIDIA

IT EXPERTS-TECH LEADERS 2024 FELHŐ A JAVÁBÓL KONFERENCIA

ICT Global News

VIDEOGALÉRIA

Legnépszerűbb cikkek

ICT Global News

Iratkozz fel a hírlevelünkre, hogy ne maradj le az IT legfontosabb híreiről!