Odborná definícia
Odborná definícia
Zarr je špecifikácia a ekosystém na ukladanie viacrozmerných typovaných polí rozdelených do komprimovaných chunkov. Metadáta opisujú tvar, dátový typ, poradie osí, chunkovanie a kodeky, zatiaľ čo jednotlivé bloky možno čítať nezávisle z lokálneho disku alebo objektového úložiska. V aplikovanej AI sa používa pre satelitné snímky, mikroskopiu, klimatické kocky, embeddingy a tréningové datasety, kde úplné načítanie poľa do pamäte nie je možné ani potrebné.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Zarr rozseká obrovskú dátovú kocku na menšie balíky. Keď model potrebuje iba výrez obrazu, časový interval alebo vybrané kanály, systém stiahne príslušné chunky namiesto celého súboru. Výkon preto závisí od toho, ako veľkosť a tvar chunku kopírujú skutočný spôsob čítania. Príliš malé bloky zvyšujú počet požiadaviek, príliš veľké prenášajú nepotrebné dáta. Formát rieši uloženie, nie automaticky verziovanie, oprávnenia ani význam osí.
Časté otázky
Časté otázky
Čím sa Zarr líši od jedného súboru NumPy?
Pole je rozdelené na samostatné chunky a môže byť uložené v adresári alebo objektovom úložisku, čo podporuje čiastočné a paralelné čítanie.
Ako zvoliť veľkosť chunku?
Chunk má zodpovedať typickému výrezu a cieľovej veľkosti prenosu. Rozhodnutie sa testuje na reálnom úložisku a pracovnej záťaži.
Podporuje Zarr kompresiu?
Áno, metadáta môžu určiť kodek a jeho parametre. Kompresný pomer sa vyvažuje s nákladmi dekódovania a priepustnosťou.
Je Zarr databáza?
Nie v bežnom relačnom zmysle. Je to dátový model a úložný formát pre polia, bez SQL transakcií alebo automatickej správy entít.
Čo treba archivovať pre reprodukovateľnosť?
Okrem chunkov aj metadáta, verziu špecifikácie, význam dimenzií, jednotky, transformácie a manifest konkrétnej verzie datasetu.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Zarr documentation Zarr specifications
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.