Platforma IT CENAGIS to nowoczesne
Technologie
Komponenty Platformy IT
Platforma IT CENAGIS to zbiór wielu współgrających ze sobą narzędzi i elementów.
Razem tworzą spójny system, z jednolitym systemem logowania, uniwersalnym dostępem do danych roboczych oraz dokumentacją wspomagającą na każdym kroku procesu analitycznego.
- Dostęp do większości funkcji systemu możliwy jest przez specjalnie przygotowany Panel Dostępowy. Umożliwia od przejście między innymi:
- Przeglądanie danych w Repozytorium CENAGIS
- Przeglądanie i edycja metadanych w Katalogu Zasobów
- Przeglądanie i uruchamianie Usług Geoprzestrzennych (Węzeł Usług Geoprzestrzennych)
- Zarządzanie wirtualnymi komputerami
- Korzystanie ze środowiska obliczeniowego
- Korzystanie ze współdzielonej przestrzeni dyskowej
- Korzystanie z narzędzi komunikacji w zespołach
Podsystem Wirtualizacji
Praca na wirtualnym komputerze przypominająca pracę na klasycznym komputerze desktop.
W przeciwieństwie do klasycznego środowiska dostęp możliwy jest z dowolnego komputera z dostępem do Internetu, współdzielenie i prezentacja środowisk pracy, praca w różnych systemach operacyjnych: Windows i różne wersje Linux (w przypadku korzystania z kilku wirtualnych maszyn). To pozwala np. na testowanie procesów przetwarzania i wizualizacji danych na komputerach o różnej liczbie CPU, RAM, GPU.
Maszyny wirtualne wyposażone są w system operacyjny Windows Serwer lub praktycznie dowolne bezpłatne dystrybucje systemu Linux. Standardowo instalowany jest system Ubuntu lub CentOS.
W systemie skonfigurowane jest szerokie spektrum oprogramowania klasy GIS np. firmy Hexagon, oprogramowanie fotogrametryczne oraz oprogramowanie przeznaczone do przetwarzania/konwersji danych przestrzennych. Część z tego oprogramowania może być zaoferowane niektórym użytkownikom w ramach pakietu dostępowego. Możliwe jest także korzystanie z programów komercyjnych w modelu licencyjnym BYOL – „Bring Your Own License” („przynieś swoją licencję”). Użytkownik może więc instalować na komputerach wirtualnych posiadane przez siebie oprogramowanie, jeżeli posiada stosowne licencje. Poza oprogramowaniem komercyjnym dostępne jest szerokie spektrum otwartego oprogramowania i technologii GIS np. QGIS, PostGIS, Geoserwer, Cesium.
Za wirtualizację na platformie CENAGIS odpowiada 21 serwerów, które mogą pracować zarówno w celach badawczych jak i komercyjnych. Zasoby te pozwalają na uruchomienie kilkuset maszyn wirtualnych, a pojedyncza maszyna może wielokrotnie przekraczać wydajnością możliwości zwykłej stacji roboczej. Parametry maksymalne jednej maszyny to nawet 54 vCPU oraz 300 GB pamięci RAM. Wyniki analiz, których wizualizacja jest bardziej wymagająca graficznie, mogą być wyświetlane ze wsparciem wydzielonej części kart graficznych NVIDIA Tesla V100 (32 GB) oraz A100 (80 GB) z technologią CUDA. Ponadto dostępna jest odrębna infrastruktura eksperymentalna złożona z 12 serwerów umieszczona w oddzielnej serwerowni.
Każdy wirtualny komputer umożliwia ponadto łatwy dostęp do dużych zasobów danych geoprzestrzennych z Repozytorium CENAGIS. Podłączone są one jako dyski sieciowe lub poprzez skonfigurowane połączenie do bazy danych PostGIS z załadowanymi i przygotowanymi do pracy danymi. Ważny jest także dostęp do oprogramowania ze skonfigurowanym dostępem do danych z Repozytorium CENAGIS (QGIS, Hexagon – w przypadku pozyskania licencji, ESRI – w przypadku pozyskania licencji).
Jednym z celów CENAGIS jest ułatwienie pracy zespołów badawczych, dlatego do ich dyspozycji są wygodne narzędzia ułatwiające współpracę, takie jak foldery współdzielone pomiędzy maszynami i elementami systemu, wspólne bazy danych czy repozytoria kodu źródłowego. Zasoby sprzętowe mogą być dynamicznie rozdysponowywane pomiędzy członków zespołu co pozwala optymalizować koszty i lepiej organizować pracę.
Podsystem Wirtualizacji
Oprogramowanie GIS
Podsystem Analiz BigData
Jest to zestaw sprzętu i oprogramowania dostarczający jednolite środowisko przeznaczone do prowadzenia badań w technologii Spatial Big Data.
Szczególny nacisk położony jest na analitykę opartą o dane geoprzestrzenne z wykorzystaniem konteneryzacji oraz rozproszonego przechowywania i przetwarzania danych.
Do prowadzenie różnorodnych analiz skonfigurowane zostało nowoczesne środowisko programistyczne Jupyter Lab. Jest to skonfigurowane środowisko pracy dla geo-data scientist pozwalające na przetwarzani i analizowania danych w języku Python (typowe środowisko pracy data scientist). Użytkownicy mają możliwość korzystania z przygotowanych bibliotek m.in. ułatwiających wykorzystanie metod sztucznej inteligencji.
Dzięki oparciu środowiska o konteneryzację możliwe jest wykorzystanie tej technologii jako optymalny sposób testów i udostępniania prototypowych rozwiązań. Możliwe jest także uruchamianie kontenerów korzystających z mocy dostępnych profesjonalnych kart graficznych.
Podstawowym komponentem tego podsystemu jest oprogramowanie DC/OS, rozproszony system operacyjny typu open-source oparty na oprogramowaniu Apache Mesos. DC/OS zarządza wieloma serwerami sprzętowymi z jednego interfejsu, pozwalając na uruchamianie na tych maszynach kontenerów (dockery) i usług rozproszonych, zapewnia obsługę sieci i zarządzanie zasobami.
Mechanizmy przetwarzania i analizy danych opierają się o technologię silnika analitycznego Apache Spark, którego procesy uruchamiane są w kontenerach Docker, pod kontrolą Apache Mesos.
Na podsystem Big Data składają się zasoby 30 serwerów, które dla użytkowników udostępniają łącznie 1800 vCPU oraz 11 TB pamięci RAM.
Do obliczeń w oparciu o GPU przeznaczone jest 60 kart NVIDIA Tesla T4.
Jest to zupełnie nowe w geoinformacji podejście do przetwarzania danych przestrzennych, dające możliwości do realizacji analiz na dotychczas nieosiągalną skalę.
Podsystem BigData
Repozytorium danych
Równie ważnym jak infrastruktura techniczna są udostępniane w CENAGIS dane. Wybrane otwarte i komercyjne zasoby danych geoprzestrzennych obejmujące terytorium Polski, dostępne są w przystępny sposób w spójnym środowisku informatycznym.
• Dane referencyjne i tematyczne z zasobu geodezyjno-kartograficznego
• Dane tematyczne z różnych instytucji
• Obrazy satelitarne Europejskiej Agencji Kosmicznej (ESA)
• Dane z zasobów społecznościowych
• Dane z firm komercyjnych
• i wiele innych
Więcej informacji w zakładce Dane.
Dane przechowywane są w rozproszonym systemie plików HDFS, w relacyjnych bazach danych (np. PostrgreSQL) oraz w bazach NoSQL (np. Accumulo). System automatycznie dba o replikację danych oraz kopie zapasowe, dlatego zarówno dane w repozytorium jak i dane użytkowników są bezpieczne i odporne na awarie sprzętowe.
Użytkownicy mogą przeglądać dane dostępne w Repozytorium systemu na kilka sposobów:
- Przeglądanie danych z Repozytorium CENAGIS, danych własnych oraz usług OGC z użyciem przeglądarki internetowej CENAGIS MapViewer (w tym przeglądanie chmur punktów, porównywanie wieloczasowe, wizualizacje 3D)
- Przeglądanie danych z Repozytorium CENAGIS, danych własnych oraz usług OGC z użyciem Hexagon Geospatial Portal (w tym pobieranie fragmentów danych na swój dysk CENAGIS)
- Przeglądanie Repozytorium CreoDIAS (dostęp do obrazów satelitarnych ESA) na dwa różne sposoby, w tym uproszczony dostęp poprzez CENAGIS SatExplorer
Ważną funkcją dostępną w systemie jest funkcja przeglądanie i edycja metadanych w Katalogu Zasobów. Dzięki niej użytkownicy mogą:
- Wyszukiwać zasoby (dane, oprogramowanie, środowiska pracy, projekty, zespoły badawcze, publikacje, dokumentacje)
- Analizować metadane
- Edytować własne metadane dotyczących własnych zasobów dodanych do Repozytorium
Przechowywanie danych
Usługi dodatkowe
Poza typową pracą w narzędziach do przetwarzania danych Platforma CENAGIS udostępnia dodatkowe narzędzia wspierające współpracę użytkowników. Celem tego typu rozwiązania jest przede wszystkim:
- Znajdowanie partnerów do projektów
- Weryfikacja pomysłów
- Promowanie i dzielenie się wynikami swoich badań
- Promowanie i udostępnianie swoich danych
- Promowanie swoich rozwiązań technologicznych
- Współdziałanie w celu tworzenia bardziej złożonych projektów
- CENAGIS Drive – wygodna wymiana plików
- CENAGIS Chat – wewnętrzny komunikator
- CENAGIS Forum – kontakt z całą społecznością CENAGIS
- Jitsi Meet – telekonferencje
- CENAGIS GitLab – repozytorium kodu i zarządzanie projektami
- CENAGIS Wiki – dokumentacja wszystkich elementów systemu
- Samouczki wprowadzające w technologie
- Instruktarze wideo
- Wsparcie społeczności poprzez czat i forum
- Helpdesk CENAGIS
Usługi CENAGIS
