Mi is az adatmegosztás? Csak úgy általánosságban – térinformatikát félretéve – az egyik legmeghatározóbb momentum, mikor két fél információt cserél egymással. Gondolj csak bele, mi is az információ? Az adatok feldolgozása során keletkezett következtetések és értelmezések egyvelege. Tehát, amikor információt osztasz meg, akkor egyben adatokat és a tudásod legjavát közlöd. Az adatmegosztás egy kommunikációs folyamat, ahol az adó egy meghatározott csatornán keresztül közvetít információt a vevő számára. Ha a kommunikációs csatornát nem megfelelően választod ki, úgy adatvesztés történhet, vagy sok idő eshet ki, míg az információ eljut a vevőig. Elég a filozófiából, lássuk a konkrétumokat!
Mit is jelent számunkra az adatmegosztás üzleti szempontból? Egy olyan tranzakciót, melynek során térképeket és 3D modelleket juttatunk el a megrendelőnkhöz, vagy az alvállalkozói láncolaton belül oszthatunk meg információkat. És bizony kedves olvasóm, ez a térinformatika alfája és omegája! Ugyanis, ha egy térkép vagy modell nem értelmezhető, akkor nem adódik át az információ. Ha, egy adatállományt odaadsz valakinek az önmagában nem biztos, hogy értelmezhető, hiszen lehet, hogy stílusjegyekkel kell ellátni a téradatokat, hogy térbeli mintázat rajzolódjon ki. Más esetben kifogástalan szoftveres háttérre van szükség, hogy az adatok értelmezhetők, vizualizálhatók legyenek. Egy szép térképet vagy 3D modellt és az ezekből levezethető információkat azért alkotjuk meg, hogy nyilvánosságra hozzuk. Ez a publikálás történhet közvetlen üzleti hasznosítás miatt vagy akár közvetetten marketing, promóciós célok miatt is. Ezekben a mélységekben igenis számít az adatmegosztás minősége és jellege, hiszen ezek alapján ítélik meg a felmérést és az adatfeldolgozást végző személyt, vagy céget. A továbbiakban részletesen írok majd a legelterjedtebb adatmegosztási eljárásokról úgy, hogy közben mellettük és ellenük szóló érveket is megosztok veled (látod, ez információ megosztás… 🙂 ).
KÜLSŐ ADATTÁROLÓK
Sokan a mai napig a külső adattárolókra esküsznek. Ebben a kategóriában gondolhatunk Pendrive-ra, HDD-re vagy akár SSD-re. Előnyük, hogy ezeket relatíve olcsón be lehet szerezni és egyszerű a használatuk. A nagyméretű fájlok tárolásánál azonban figyelni kell a potenciális fájlrendszer használata. Itt a legelterjedtebb az NTFS (New Technology File System) használata, hiszen a térinformatikában leginkább a Windows alapú szoftverek terjedtek el. Ha bővebben érdekelnek a fájlrendszerek és azok sajátosságai, akkor ezt a cikket ne hagyd ki. Egy fizikai adattározónak optimális környezetet is biztosítani kell. El kell olvasni a használati útmutatót, de a lényeg, hogy adatvesztés elkerülése miatt nem teheted ki nagy hőingásnak, valamint száraz, fénytől védett helyen kell tárolnod. Továbbá, az sem árt, ha teljesen különálló helyiségben vagy akár épületben tároljuk az adathordozót és a biztonsági másolatokat.
Közelítsük meg gyakorlatias szemlélettel azt, ha egy ilyen külső adattárolón szeretnénk átadni a megrendelőnknek térképi vagy 3D adatokat és máris látható lesz, hogy mennyi probléma lehet ezzel. Felmásolod a felmérésed eredményét egy adathordozóra, hogyan tovább…? Vagy egy személyes találkozót kell szervezned, hogy azt átadd vagy postai úton, esetleg futárszolgálatra bízva eljuttatod a megrendelődhöz az adattárolót. Előbbi elég időrabló lehet, ha nagy távolságra vagy a megrendelődtől (a személyes találkozók, amúgy is nehezen szervezhetők a COVID-19 járvány miatt), utóbbi esetben ki vagy szolgáltatva a csomagküldő cégnek, ami elég nagy kockázatot is jelenthet. Nem csak azért rizikós a postai úton való elküldés, mert elkeveredhet a csomag, hanem azért is, mert az adathordozónak bármi baja eshet. Akár megütődhet, akár folyadék érheti vagy akár magas vagy alacsony hőmérsékletek hatására adatveszteség mehet végbe.
A fizikai adattároló ünnepélyes átadásán túl vannak egyéb megfontolandó kérdések. Például, hogy mennyire gazdaságos minden egyes projektre külön venni egy külső adattárolót, amit utána odaadsz a megrendelődnek? Esetleg visszakéred, majd formázod és újrafelhasználod? Ha bizalmas adatokat tároltál rajta, akkor van egy rossz hírem: a formázás és a törlés valószínűleg nem fogja teljes mértékben eltüntetni az egykor tárolt adatokat, azon csak egy erős és mindent átütő fúró segíthet!
A külső adattárolóval amúgy is csak adatokat adhatsz, ha azt meg szeretnék nyitni, akkor szükség lesz speciális szoftverekre. Például egy GIS-re a térképi adatcsomagokhoz, 3D modellezőre a 3D-s állományokhoz.
Összességében én lebeszélnélek erről a megoldásról, hiszen nem praktikus és felkészületlennek is tűnhetsz a megrendelő előtt egy ilyen „old-school” megoldással.
FELHŐALAPÚ ADATMEGOSZTÓK
A felhőalapú megoldások sokfélék lehetnek, itt gondolhatunk nagyméretű e-mail küldő szolgáltatásokra, mint a JUMBOmail, MailBigFile, WeTransfer, vagy az adatmegosztó tárhelyekre ilyen például a OneDrive, Google Drive, Dropbox.
Ezek olyan szempontból fejlettebbek, hogy nem a felhasználó gondja a megfelelő fájlrendszer kiválasztása, valamint az adatok egy központi szerveren tárolódnak, ahonnan a megrendelő bármikor letöltheti a fájlokat. A felhőalapú szolgáltatások általában havi vagy éves előfizetéssel járó csomagokban jelennek meg, amik közül egy-kettő egészen kedvező konstrukciókban elérhető. Az újrafelhasználás, azaz a tárhelyen lévő adatok törlése és új projektek megosztása nem olyan problémás, mint az előbbi, külső adattárolók esetében.
Ugyanakkor, más jellegű problémák itt is felmerülhetnek a gyakorlatban. Egyrészt az idő kérdése. A felhő tárhelyek esetében igaz, hogy nem kell személyes találkozót szervezni vagy postai úton elküldeni az adatot, de az adatok feltöltésével és letöltésével sok idő elmehet. Ha a megrendelőd internetsebessége gyenge, akkor órákig is eltarthat, mire egy nagyobb méretű állományt letölt. Ezután, fel kell telepítenie egy alkalmas szoftvert, hogy azzal meg tudja nyitni az adatokat. Majd, ha kiderül, hogy valamit Ő nem úgy képzelt el, ahogy Te megcsináltad, akkor jelzi feléd, de addigra már értékes órák mentek el csak az adatok fel- és letöltésével.
További probléma az adatok biztonságának kérdése. Sok esetben kell dolgozni bizalmas adatokkal, amik nem kerülhetnek harmadik fél kezébe. Ezt nehéz garantálni felhő tárhelyek esetében. Sajnos, több olyan rémhírt is hallani, miszerint egy-egy felhő alapú szolgáltatás felhasználja és tovább kezeli, kereskedik a szervereire feltöltött adatokkal. Ennek az igazságtartalmát nehéz megítélni, mindenesetre aggasztó lehet, ha titkosított adatokkal dolgozik valaki.
FTP SZERVER
A File Transfer Protocol (FTP) segíthet kiküszöbölni mind a felhő tárhely adatbiztonsági aggályait, mind a külső adattároló fizikai korlátait. Az FTP szerver segítségével jogosultságot adhatsz a megrendelődnek, hogy egyedi azonosítón keresztül hozzáférjen egy adott mappához, ahonnan – jogosultsági beállítások függvényében – letölthet, és ahova feltölthet tartalmakat. Ezek a megosztott mappák egy-egy projektet takarhatnak, így több megrendelő esetében, úgy tudják letölteni az adatokat, hogy közben nem látnak rá egymás mappájára (projektjeire).
Az FTP-nek köszönhetően az adataid ebben a formában lesznek a legbiztonságosabban megoszthatók, pláne, ha titkosított autentikációt (felhasználó-azonosítást) használsz SSL/TLS protokollokkal, ezt hívják FTPS-nek.
Összességében ez tűnhet a legjobb megoldásnak, de mégis vannak problémái. Kifogástalan szaktudás kell egy ilyen szerver beállításához és üzemeltetéséhez. Ráadásul, hibás beállítások esetén buktad az adataid biztonságát. Ha gazdasági oldalról közelítjük meg, akkor szükséged lesz egy olyan személyre, aki vállalja a felelősséget azért, hogy konfigurálja és karbantartja a szervert. Egy megbízható munkaerő bérköltsége és a szerver üzemeltetési költségei együtt már sokkal magasabb összeget jelentenek, mint az előbb említett megoldások. Milyen költséggel kell számolni egy szerver esetében? Maga a vas nem kell, hogy bivalyerős legyen, de számolva azzal, hogy nem kisméretű állományokat fogsz tárolni és szükséged lesz minimum 1-5 TB tárhelyre, a szerver megvásárlása önmagában több éves felhő alapú tárhely előfizetést tesz ki. Kielégítő sávszélességű internetkapcsolat is szükséges, ami biztosítja a megrendelők részéről (kliens oldal) a gyors hozzáférést. Ha igazán profi akarsz lenni, akkor többféle internetszolgáltatónál is előfizetsz. Amennyiben az egyik kiesik valamilyen karbantartási okból, attól még a másiknak köszönhetően a szerver üzemkész marad. Aztán a szerver elhelyezéséről is hosszasan írhatnék. A lényeg, hogy a szervergépet mindennemű veszélyforrástól el kell szigetelni. Ilyen lehet akár egy beázásra hajlamos tető, tűzveszélyes elektromos berendezések, sőt az emberek is! Gondolj csak bele, ha bárki bemehet a szerverterembe… Ebben a példában nem kell egyből gonosz hackertámadásra gondolni, elég az is, ha a van egy takarító néni, aki jóhiszeműen felsöpör és felmos, melynek során kirángat pár kábelt a gépből és elfelejt szólni, hogy történt bármi probléma. Te meg a jajveszékelő megrendelők telefonhívásaira ébredsz. Mindezek mellett figyelned kell az állandó áramellátásra is, amit kisebb áramingadozások vagy kimaradások esetén egy szünetmentes tápegységgel kell biztosítanod. Továbbá, adatszintű vagy akár rendszerszintű biztonsági mentéseket is be kell ütemezned.
Tudom, hogy elég sok mindenre kell figyelni egy szerver megfelelő üzemeltetése során és ez nem kis költségekkel jár. Sokan a szaktudás hiányából fakadóan, vagy a költségvonzat miatt nem tehetik meg, hogy ezt a megoldást válasszák adatmegosztásra. Pont ezeknek a problémáknak köszönhetően terjedtek el annyira a felhő alapú tárhely szolgáltatások.
A térinformatikai adatmegosztás JÖVŐje
Az előzőkben leírt megoldásokban mi volt a közös, mi hiányzott belőlük? A közvetlen információátadás, azaz a megjelenítés! Ha egy térinformatikai tudás nélküli megrendelőnek kell átadnod információkat, akkor az adatokat, fájlokat, úgy célszerű elküldeni, hogy egy megjelenítő környezetet is biztosítasz mellé. Hiszen egy egyszerű „JPG” vagy „PNG” képet sem tudsz értelmezni képnézegető program nélkül, nem igaz? Mi több, ha egy olyan megrendelőnek küldesz adatokat, aki rendelkezik megfelelő térinformatikai háttérrel csak akkor láthatja a végterméket, ha azt hosszas várakozást követően letölti. Egyes projektekben elengedhetetlen a gyors kooperáció, melynek keretében a megrendelő vagy alvállalkozó a feldolgozás közben láthatja az adatcsomagokat és a részeredményeket. Gondolj bele, hogy mennyire jól lehet együttműködni a kollégákkal egy-egy Word fájl megosztásával Google Drive-on, ahol nem kell letöltened a fájlt, nem kell verzióznotok, annyira kényelmes és egyszerű a közös munka. Szóval, ha adatmegosztásról beszélünk, akkor én úgy gondolom, hogy az adatok tranzakciója csak az egyik megoldandó feladat! Ha információt, tényleges értéket akarsz nyújtani, akkor egy kifogástalan vizualizációs eszközt is adnod kell.
Joggal merül fel benned a kérdés, hogy: „Hogyan lehet létrehozni egy ilyen térinformatikai web alapú megjelenítő eszközt?”. Nos, a térinformatikai állományok speciális és nagyméretű formátumainak web alapú publikálásához még specifikusabb tudásra van szükség, mint az FTP szerver esetében. Először is webfejlesztésben és térinformatikai fejlesztésekben egyaránt jártas programozóra lesz szükség. Ugyan vannak olyan nyílt-forráskódú JavaScript könyvtárak, amik egészen egyszerűen használhatók, de ettől még kódot kell írni és a megjelenítendő adatcsomagokat elő kell készíteni a web alapú ábrázolásra. A 2D és 3D webGIS legnagyobb kihívása, hogy hogyan lehet a rendkívül nagyméretű adatok ábrázolását úgy optimalizálni, hogy egy szűkös erőforrásokkal rendelkező böngészőben is akadások nélkül megjelenjenek. Ezt a problémát a WebGL rendermotor használatának elterjedése kezdte el megoldani. Ez a technológia a kliens oldali eszköz (legyen szó PC-ről, tabletről vagy mobilról) hardveres erőforrásait is igénybe veszi a vizualizáció során, ezért ki lehet törni a böngésző által biztosított szűkös kapacitásból. A WebGL-t számos remek 3D modellező JavaScript könyvtár is átvette, ilyen például a three.js vagy a Potree. A three.js alkalmas 3D mesh modellek publikálására, míg a Potree nagyméretű pontfelhők webes megjelenítésére alkalmas könyvtár. Utóbbi számos mérési eszközt is biztosít. A térképi állományok esetében – mint az ortofotó, DEM, 2D térképi adatok – remekül használható az OpenLayers, a Mapbox GL JS vagy a Leaflet. Ezek mellett vannak olyan 2D és 3D téradat megjelenítők, amik egy desktop GIS szoftverrel köthetők össze. Ilyen az ArcGIS Online vagy a QGIS Cloud térképeknek és a Qgis2threejs 3D modelleknek. Utóbbi megoldások erősen korlátoltak olyan szempontból, hogy kevés 3D-s formátumot képesek kezelni.
Ha az előzőkben leírt webGIS-t létrehozod, mint adatmegjelenítő felületet, attól még a letölthető adatállományok kérdése továbbra is nyitott marad. Lehetőséged van arra, hogy beüzemelj egy FTP szervert, melyen üzemeltetsz egy webszervert is. Ezáltal az adatmegosztást biztosítod az FTP-n keresztül, míg az adatmegjelenítést a webGIS-n keresztül. Túl bonyolultnak, költségigényesnek és energiarablónak érzed, ugye?
Van-e megoldás biztonságos adatmegosztóra és egyben adatmegjelenítő felületre, amit nem kell programozni? Ez az alapkérdés merült fel bennünk, amikor elkezdtünk gondolkozni a SurveyTransfer első változatán. Mivel ez a probléma szinte az egész szakmát érinti, ezért nem vesszük félvállról a feladatot és olyan megoldást szállítunk, ami sokak életét megkönnyíti. Jelenleg is azon dolgozunk, hogy egyszerűen, biztonságosan és felhasználóbarát módon tudj megosztani adatokat! A megrendelőd előtelepítés nélkül tudja használni a SurveyTransfer webes megjelenítőit és egyszerűen végezhet méréseket, valamint kezelheti a térképi és 3D állományokat. Mindezek mellett ez egy kollaborációs platform, ahol az egyes projektekhez tartozó adatállományok közvetlenül vizsgálhatók letöltési idő nélkül, hála a beépített térképi nézetnek és 3D modelltérnek.
Összefoglalva: A SurveyTransfer egy modern felhőalapú adatmegosztó és emellett egy adatvizualizációs eszköz, melynek segítségével interkacióba léphetsz (mérések, feliratozások) a térképi és 3D-s adatokkal. A feltöltött állományok egyszerre is megjeleníthetők, így rétegsorrend alakítható ki mind a térképi, mind a 3D nézetben. Tekints úgy a SurveyTrasnferre, mint a téradatok Google Drive-ja.
Tetszett, amit olvastál? Akarsz hasonlókat olvasni?
Ha nagyon-nagyon tetszett, amit olvastál, akkor meg is oszthatod az ismerőseiddel. Ne fogd vissza magad! 🙂
