Navigace podle vidění a jazyka: průvodce VLN, SLAM a Nav2

Navigace založená na vidění a jazyce (VLN) pomáhá robotovi interpretovat pokyny, jako například „dojeď ke schránce“ nebo „opusť vstupní halu a postav se čelem k druhému regálu“. Propojuje jazyk s vizuálními důkazy a navrhuje cíl, navigační bod nebo reprezentaci akce.

Krátká odpověď: VLN obvykle nenahrazuje lokalizaci, SLAM, ROS 2 Nav2, řízení pohybu, zotavení po chybě ani bezpečnost. Pro první projekt se skutečným robotem bývá nejsnáze laditelným řešením sémantický front-end VLN napojený na konvenční navigační zásobník.

Zaměření výběru

Zvolte architekturu se sémantickým cílem, pokud potřebujete příkazy v přirozeném jazyce, aniž byste museli znovu vytvářet spolehlivou navigaci.
Zvolte predikci naučených navigačních bodů, pokud je výzkumnou otázkou vizuální paměť, průzkum nebo adaptivní pohyb na krátkém horizontu.
„Jedna kamera“ považujte za tvrzení o vstupu modelu, dokud není zdokumentován kompletní senzorový systém robota, řízení a bezpečnostní hranice.
Skóre benchmarků porovnávejte pouze v rámci kompatibilních protokolů, včetně datové sady, rozdělení scén, pozorování, akčního prostoru a pravidla úspěchu.
Měřte skutečné nasazení pomocí úspěšnosti tras, zásahů obsluhy, latence, zotavení a závažnosti selhání — nikoli podle jedné úspěšné ukázky.

Co je navigace založená na vidění a jazyce?

VLN je úloha pohybu v prostředí, při níž se jazykový pokyn ukotvuje v posloupnosti vizuálních pozorování. Cíl může být sémantický, nikoli známá souřadnice v mapě.

Robot nevidí celou trasu najednou. Musí si uchovávat užitečnou historii, rozpoznávat objekty nebo orientační body, odhadovat postup a rozhodovat, jaké důkazy dále získat, když je cíl skrytý nebo nejednoznačný.

Výstup není standardizovaný. Systém může vytvářet bod v obrazovém prostoru, pózu objektu, metrický cíl, několik krátkých navigačních bodů nebo návrhy akcí na nižší úrovni. Tento výstup určuje, co musí zbytek robota dále provést.

VLN, VLM, VLA a sémantická navigace nejsou synonyma

Pojem	Co popisuje	Typický výstup	Co nezaručuje
VLM	Model, který uvažuje nad vizuálními a jazykovými vstupy	Text, štítky, souřadnice nebo strukturovaná rozhodnutí	Akce připravené pro robota
VLN	Navigační úloha a oblast výzkumu	Reprezentace cíle, navigačního bodu, směru nebo akce	Jedna univerzální architektura systému
VLA	Model, který propojuje vidění a jazyk s akcemi robota	Akční tokeny, trajektorie nebo řídicí cíle	Bezpečný pohyb připravený k nasazení
Sémantická navigace	Navigace k místu, objektu nebo cíli na úrovni významu	Obvykle sémantický cíl převedený na navigační cíl	Tento jazyk musí být vstupem

Nahrazuje VLN SLAM nebo ROS 2 Nav2?

Obvykle ne. VLN odpovídá na otázku „na jaké místo nebo objekt se tento pokyn vztahuje?“ Lokalizační systém odpovídá na otázku „kde se robot nachází?“ Navigační zásobník odpovídá na otázku „jak může robot dosáhnout cíle s ohledem na geometrická omezení?“

Nav2 poskytuje komponenty pro costmapy, plánovače, řadiče, stromy chování a zotavení. Jeho vstupy mohou pocházet z LiDARu, kamer, odometrie kol, IMU, GPS nebo fúzovaných odhadů, pokud splňují požadovaná rozhraní.

Robot tedy může používat navigaci založenou na vidění bez LiDARu, neznamená to však, že obrazový tok jazykového modelu automaticky zajišťuje lokalizaci, pokrytí překážek, transformace souřadnic a řízené zastavení.

Klíčová hranice: trasový bod není příkaz motoru. Pixel v obrazu kamery sám o sobě neobsahuje žádnou metrickou vzdálenost. Navazující systém musí návrh převést na dosažitelný cíl a monitorovat jeho provádění.

Jak se jazyková instrukce mění v pohyb robota

Nejbezpečnější způsob, jak vyhodnotit systém VLN, je sledovat odpovědnost od instrukce až po pohyb kol. Naučený model může některé fáze spojovat, ale technické povinnosti zůstávají.

Fáze	Vstup	Výstup	Signál selhání a reakce
1. Ukotvení jazyka	Instrukce a kontext úkolu	Odkazované místo, objekt nebo podmínka trasy	Nejednoznačný cíl → vyjasnit nebo vytvořit vyhledávací úkol
2. Pozorování a paměť	Snímky, identita kamery, časování a historie	Vizuální kontext pro další rozhodnutí	Chybějící důkazy → znovu vzorkovat, rozhlédnout se nebo aktualizovat paměť
3. Generování cíle	Ukotvený záměr a vizuální kontext	Bod v obraze, poloha, metrický cíl nebo sekvence trasových bodů	Nedosažitelný nebo nekonzistentní cíl → prozkoumat, odmítnout nebo znovu vygenerovat
4. Převod souřadnic	Výstup modelu, kalibrace, transformace a poloha robota	Cíl v souřadnicovém systému požadovaném navigátorem	Zastaralá transformace nebo obsazený cíl → znovu lokalizovat nebo odmítnout
5. Plánování a řízení	Metrický cíl, costmapa, obrys robotu a omezení	Proveditelná trasa a příkaz rychlosti	Žádná cesta, kmitání nebo překážka → přepočítat trasu, zpomalit nebo zastavit
6. Monitorování a zotavení	Stav provádění, časování, senzory a poruchy	Pokračovat, opakovat pokus, ustoupit, zastavit se nebo požádat o pomoc	Žádný pokrok nebo překročený limit → přejít do definovaného bezpečného stavu

Modulární architektura navigace založené na vidění a jazyce, která propojuje jazyková a RGB pozorování s ROS 2 Nav2 a monitorovaným pohybem robota

Modulární architektura VLN udržuje sémantické uvažování, převod souřadnic, navigaci, řízení a nezávislé zastavení názorně oddělené.

Tři architektury VLN pro skutečné roboty

Názvy modelů se rychle mění. Trvalejší rozhodnutí spočívá v tom, kde naučený systém končí a která vrstva odpovídá za proveditelnost, zotavení a bezpečné zastavení.

Architektura	Naučený výstup	Zachovává konvenční navigaci?	Hlavní výhoda	Nejvhodnější volba
Sémantický front-end	Poloha objektu nebo metrický cíl	Obvykle ano	Jasná rozhraní a snadná diagnostika	První prototyp v ROS 2, servisní robot
Naučená politika trasových bodů	Cílový bod v obraze nebo krátká sekvence trasových bodů	Částečně	Adaptivní vizuální uvažování a chování s krátkým horizontem	Výzkum, průzkum, agentická navigace
Integrovaná akční politika	Návrh akce nebo trajektorie na nižší úrovni	Závislé na architektuře	Méně ručně navržených rozhraní	Kontrolované výzkumné platformy s rozsáhlou validací

Příklad 1: výběr sémantického cíle a Nav2

Modulární výzkumný systém pro ROS 2 přijímá jazykový požadavek, pomocí vnímání RGB-D lokalizuje zmíněný objekt, převede jej na navigační cíl a nechá Nav2 trasu vykonat.

To je obvykle nejlepší výchozí bod, pokud již důvěřujete své mapě, odhadu stavu, obrysu robota a řídicímu systému. Selhání ukotvení cíle a selhání navigace zůstávají rozlišitelné.

Příklad 2: Robostral Navigate

Mistral popisuje Robostral Navigate jako 8B model, který využívá vizuální historii a jazykový pokyn. Jeho rozhraní pro ukazování predikuje cíl v aktuálním obrazu a požadovanou orientaci při příjezdu.

Když nelze použít ukazování v obrazovém prostoru, protože cíl leží mimo aktuální zorné pole, může publikovaný systém přejít na posun v lokálním souřadnicovém rámci robota. Takový výstup stále vyžaduje proveditelné vykonání a monitorování.

Projekt uvádí trénování na přibližně 2,4 milionu trajektorií napříč 350 000 simulovanými scénami. To popisuje rozsah trénování, nikoli ověřený výkon na vašem robotu, v budově, s vaším uchycením kamery nebo v rámci vašeho bezpečnostního případu.

Příklad 3: Qwen-RobotNav

Qwen-RobotNav přidává k páteři Qwen3-VL lehkou akční hlavu a predikuje osm navigačních bodů ve formátu (x, y, theta). Rozpočet tokenů, časový útlum, vážení kamer a vzorkování snímků určují, jak využívá vizuální historii.

Nadřazený plánovač může měnit režim úlohy a strategii pozorování, zatímco RobotNav funguje jako vykonavatel navigačních bodů s krátkým horizontem. Díky tomu představuje užitečnou referenci pro architekturu agentické navigace.

Poznámka k dostupnosti: oficiální repozitář Qwen-RobotNav v současnosti uvádí, že vydání vah modelu není plánováno. Považujte jej za publikovaný výzkumný systém, nikoli za hotový open-source balíček ROS k okamžitému nasazení.

Repozitář uvádí příklad nasazení na NVIDIA Jetson Thor s přibližně 196 ms na jednu inferenci, tedy 5,1 Hz. Berte to pouze jako konfigurací podmíněný údaj, nikoli jako obecný požadavek na výpočetní výkon.

Dokáže robot navigovat pomocí jediné RGB kamery?

Model VLN může využívat jediný stream RGB. Kompletní mobilní robot přesto může používat odometrii kol, IMU, vizuálně-inerciální lokalizaci, hloubkové snímání, LiDAR, nárazové senzory, zpětnou vazbu motorů a nezávislý hardware pro zastavení.

Než přijmete tvrzení o „navigaci jedinou kamerou“, určete hranici: je kamera jediným zdrojem pozorování modelu, nebo jediným senzorem celého robota? Poté určete, kdo zajišťuje měřítko, polohu, překážky, slepá místa, latenci a zastavení.

Hranice modelu VLN s jedinou kamerou ve srovnání s kompletním systémem navigace, monitorování a bezpečnosti robota

Jediný vstup RGB může vymezit hranice naučeného modelu, aniž by definoval kompletní architekturu snímání, bezpečnosti a navigace.

Otázky, které je třeba položit před výběrem senzorové sestavy

Co poskytuje metrické měřítko, odometrii, lokalizaci a transformace souřadnic?
Co detekuje překážky mimo zorné pole kamery nebo během prodlev při inferenci?
Jak jsou vynucovány omezení obrysu robota, rychlosti, sklonu a zastavení?
Co se stane, když požadovaný cíl chybí, je zakrytý nebo nesprávně identifikovaný?
Jaká uzavřená frekvence je stabilně dosahována na zamýšleném palubním počítači?
Který mechanismus může nezávisle zastavit pohyb, když autonomie selže?

Pro srovnání na úrovni senzorů viz průvodce LiDARem, hloubkovou kamerou, USB kamerou a IMU pro navigaci v ROS.

Jak propojit VLN s ROS 2 a Nav2

Neexistuje univerzální zpráva ROS pro každý výstup VLN. Definujte smlouvu rozhraní, která odpovídá reprezentaci modelu a zviditelňuje nejistotu, časování i odmítnutí.

Výstup VLN	Požadovaný most	Možná reprezentace v ROS	Odmítnout, když
Bod v obrazovém prostoru	Kalibrace kamery s hloubkou, průsečík paprsku se zemí nebo jiná geometrická metoda	Vlastní návrh pixelu s časovým razítkem před převodem	Neplatný dosah, zastaralý souřadnicový rámec nebo projekce mimo volný prostor
Průjezdní bod relativní vůči robotu	Transformace z rámce robota do navigačního rámce	`PoseStamped` po přiřazení souřadnicového rámce	Transformace není dostupná, je zastaralá nebo cíl porušuje limity
Cíl v metrické mapě	Ověření cíle vůči mapě, costmapě a provozní zóně	`PoseStamped` nebo akční cíl Nav2	Cíl je obsazený, mimo povolené hranice nebo nemá aktuální souřadnicový rámec
Posloupnost průjezdních bodů	Ověření souřadnicového rámce pro každou pózu a kontrola proveditelnosti trasy	Posloupnost póz s časovými razítky nebo akce navigace přes pózy	Kterýkoli segment je zastaralý, nespojitý nebo nerealizovatelný

Každý návrh by měl obsahovat časové razítko, zdrojový souřadnicový rámec, ID úlohy nebo epizody, okno platnosti a stav. Pokud model poskytuje míru spolehlivosti, zaznamenejte ji, ale nekalibrované skóre nepovažujte za bezpečnostní práh.

Praktická posloupnost integrace

Ověřte navigaci z bodu do bodu, lokalizaci, obrys robota a zastavení bez VLN.
Spouštějte jazykové a vizuální ukotvení pouze v režimu pozorování a zaznamenávejte jejich navrhované cíle.
Převeďte návrhy na kandidátní cíle, ale odmítněte neplatné transformace a obsazené cíle.
Umožněte krátké, omezené provádění přes Nav2 s rychlostním limitem a nezávislým zastavením.
Vraťte stav navigace do vrstvy úloh, aby mohla opakovat pokus, vyhledávat, požádat o upřesnění nebo se zastavit.
Přidejte paměť s dlouhým horizontem a průzkum teprve poté, co bude jasné, kdo nese odpovědnost za selhání.

Průvodce vývojem ROSMASTER M3 PRO poskytuje konkrétní vzdělávací postup pro ROS 2, SLAM a Nav2 před přidáním sémantické vrstvy.

Jak číst výsledky R2R, R2R-CE a RxR

Skóre VLN má význam pouze v rámci svého hodnoticího protokolu. Výsledek ovlivňuje datová sada, rozdělení scén, typ pozorování, akční prostor, poloměr úspěchu, pravidlo zastavení a revize.

Rodina benchmarků	Hlavní účel	Kontext prostředí a akcí	Upozornění ke srovnávání
R2R	Následování lidmi psaných instrukcí pro trasy v interiéru	Panoramatické scény Matterport3D s diskrétními navigačními grafy	Neprovádějte přímé srovnání s plynulým pohybem robota bez sjednocení protokolu
R2R-CE	Vyhodnocujte následování instrukcí v prostředích s plynulým pohybem	Plynulý pohyb a omezení ztělesněného systému odvozená z nastavení R2R	U každého článku zkontrolujte nastavení kamery, hloubky, akcí a úspěchu
RxR	Delší, vícejazyčné následování trasy	Anglické, hindské a telugské instrukce sladěné s trasami v interiéru	Délka instrukcí a jazykové pokrytí mění povahu úlohy

Success Rate (SR) je podíl epizod splňujících pravidlo úspěchu daného benchmarku.
Success weighted by Path Length (SPL) odměňuje úspěch a zároveň penalizuje trasy delší než referenční trasa.
Navigation Error (NE) měří zbývající vzdálenost k cíli podle definice benchmarku; nižší hodnota je lepší.

Dva články mohou oba uvádět SR, přesto řešit odlišné problémy. Jeden může používat panoramatická pozorování a grafové akce, jiný přední kameru a plynulý pohyb. Každé číslo vztahujte k přesnému rozdělení dat a protokolu.

Od benchmarku VLN k reálnému robotu: akceptační testy

Benchmarky izolují výzkumný problém. Nasazení přidává umístění kamer, prokluz kol, lidi, osvětlení, časování, výpočetní zatížení, zablokované trasy a provozní omezení.

Průzkum z roku 2026 s kontrolovaným hodnocením fyzického robota uvádí velký rozdíl mezi simulací a realitou v testovaných konfiguracích. Tento výsledek by měl motivovat k lokálnímu testování, nikoli být zobecňován na jednu univerzální míru selhání.

Test	Co měnit	Co zaznamenávat	Akceptační otázka
Sémantické ukotvení	Parafráze, nejednoznačné cíle, chybějící objekty	Vybraný cíl, žádost o upřesnění, falešná shoda	Odmítne systém nepodložený záměr?
Robustnost vůči vizuálním změnám	Odlesky, tma, zakrytí, málo textury, změněné vybavení	Ztracené důkazy, nesprávný orientační bod, zotavovací akce	Vede nejistota k hledání, nebo k zastavení?
Most mezi souřadnicovými systémy	Kalibrace kamery, stáří transformace, drift polohy	Chyba projekce a odmítnuté cíle	Jsou zastaralé nebo nemožné cíle blokovány?
Provádění trasy	Zablokované chodby, pohybující se lidé, objížďky	Úspěšnost, efektivita podobná SPL, nové plánování, zásahy	Dokáže se robot zotavit bez zacyklení?
Výpočty a časování	Trvalé zatížení, síťové zpoždění, tepelný stav	Věk snímku, latence inference, zmeškané termíny	Zůstává pohyb během zpoždění omezený?
Omezení následků selhání	Ztráta snímače, neplatný výstup, selhání lokalizace	Doba zastavení, konečný stav, zásah obsluhy	Dostane se každá závažná porucha do známého stavu?

Bezpečnostní hranice: vysoké SR nedokazuje ochranné zastavení, bezpečnou rychlost, funkční bezpečnost ani vhodnost pro sdílené prostory. Tato tvrzení vyžadují přesnou konfiguraci robota, posouzení rizik a příslušnou dokumentaci.

Kterou architekturu VLN byste měli zvolit?

Situace projektu	Doporučený výchozí bod	Proč
První prototyp jazykové navigace v ROS 2	Sémantický front-end + Nav2	Nejmenší změna fungujícího navigačního zásobníku
Vnitřní servisní robot se známými provozními zónami	Sémantické cíle + validace mapy/costmapy	Jasné zotavení po chybě a vynucování zón
Výzkum vizuálních instrukcí s dlouhým horizontem	Naučená politika bodů na trase s pamětí	Odhaluje výzkumné otázky týkající se historie, průzkumu a bodů na trase
Reprodukce benchmarku	Přesně dodržte původní protokol	Zabraňuje zavádějícímu porovnávání skóre
Prostory sdílené lidmi nebo citlivé z hlediska bezpečnosti	Modulární architektura s nezávislými bezpečnostními prvky	Výslovně vymezuje limity, monitorování a odpovědnost za zastavení

Praktické pravidlo je jednoduché: naučenou komponentu udržujte co nejužší, dokud nedokážete měřit její selhání. Její pravomoci rozšiřujte teprve poté, co má každý výstup ověření, mechanismus zotavení a bezpečný koncový stav.

Často kladené otázky k navigaci založené na vidění a jazyce

Je navigace založená na vidění a jazyce open source?

VLN je výzkumný obor, nikoli jeden softwarový balíček. Některé datové sady, simulátory, repozitáře a váhy modelů jsou otevřené; jiné zveřejňují články a ukázky bez vah. U každého projektu si ověřte licenci a skutečně vydané artefakty.

Může VLN běžet na NVIDIA Jetson?

Některé systémy demonstrují inferenci přímo na palubě počítačů třídy Jetson, ale proveditelnost závisí na velikosti modelu, přesnosti, počtu vizuálních tokenů, frekvenci kamery, tepelných limitech a požadované řídicí frekvenci. Přesně toto zatížení otestujte na cílovém zařízení.

Co by měl uzel VLN v ROS 2 publikovat?

Publikujte reprezentaci, kterou dokáže vaše integrace ověřit: návrh pixelu s časovým razítkem, bod na trase relativní vůči robotu, metrickou pózu nebo posloupnost bodů na trase. Namísto nekvalifikované souřadnice uveďte referenční rámec, časové razítko, platnost, identitu úlohy a stav.

Potřebuje robot s VLN stále LiDAR nebo hloubkovou kameru?

Ne v každé architektuře. Odpověď závisí na tom, jak celý systém získává lokalizaci, metrické měřítko, pokrytí překážek a bezpečné zastavení – nejen na tom, co VLN model zpracovává.