Microsoft Fabric, neste generasjon?
Det har vært stor interesse i markedet etter at Microsoft Fabric ble lansert, også hos oss over gjennomsnittet dataglade mennesker i Fraktal. Som vanlig så spares det ikke på superlativene når noe nytt lanseres. Det er bra å la seg begeistre, det tyder på lidenskap og engasjement og når det gjelder data og teknologi så er det ekstra bra. Kort fortalt så er Microsoft Fabric en ny analyseplattform der en har bygget over en del eksisterende tjenester og lagt til en del nytt som til sammen representerer Microsoft sin siste satsning på området.
Vi har testet ut Fabric, spesielt med tanke på «smør og brød» funksjonalitet for tradisjonelle analyse og rapporteringsløsninger, men også andre områder og ikke minst konseptet i sin helhet. Det er noe nytt og noe mindre nytt, men det er ingen tvil om at det er mye i esken her.
PySpark
Vi har testet å laste data fra et skybasert økonomisystem (Tripletex) system vha PySpark notebook. Python er et språk vi generelt bruker til flere tjenester, og det er gledelig å se at det kan utnyttes i Fabric til å gjøre generell dataprosessering med stor fleksibilitet og støtte for kode-repo i Git. Med CoPilot-støtte trent på mye Python så kan en her senke terskelen for flere. Allikevel kan det være fint å jobbe litt med kjøreregler, for det kan fort bli mange rare varianter.
Eventstream
Her satt vi opp en Eventstream som kan kan ta i mot datastrømmer og lagre det ned til ulike mottak i Fabric. Som kilde brukte vi en Raspberry PI koblet til en strøm-måler sin HAN-port. Den sender en liten datasnutt med effektdata ca. hvert andre sekund. Selve oppsettet virket veldig fint, og dataene kom inn som det skulle, men vi fikk etter noen dager beskjed om at kapasiteten på Fabric var brukt opp og da sluttet flere ting å virke. Det hører med til historien her at vi kjørte testen på minste mulige Fabric-instans (F2) og plattformen var enda ikke generelt tilgjengelig på dette tidspunktet. Allikevel blir det spennende å se hvor mye data Fabric klarer å håndtere for pengene. På det området er det stor konkurranse i markedet, heldigvis.
Warehouse
I Warehouse vil mange kjenne seg igjen da en kan bruke SQL for å skrive transformasjoner. Ved første øyekast så kan det minne om en god gammeldags SQL server, men det er ikke helt riktig. Her er lagring og prosessering adskilt ved at det brukes OneLake som lagring av Deltafiler og der hestekreftene for å prosessere disse ligger i Fabric instansen. Det er fint å skille lagring og prosessor på denne måten, for en kan da skalere raskere. Mange andre plattformer gjør dette på tilsvarende vis.
One Lake
Alle data i Fabric lagres i OneLake som er felles for hele selskapet. Alle Warehouse og Lakehouse bruker dette som lagringsplass. En kan installere en plug-in til Windows Explorer slik at en kan se filene som ligger under Fabric. Filene vil vanligvis ikke være direkte lesbare, men det er allikevel fint at ikke dataplattformen oppleves som «en svart boks et sted hos IT».
Siden mange allerede har et datavarehus, eller en større dataplattform, så kan en spørre seg om en igjen ligger bakpå i forhold til teknologien. Til det er svaret nei. Microsoft Fabric gir noen muligheter og kan være et nytt skritt for å tilrettelegge for at ulike kompetanse-disipliner kan jobbe tettere sammen på en felles plattform. Det medfører også at en kan vurdere med nye øyne hvordan en kan få til en kostnadseffektiv plattform som best mulig kan utvikles sammen med organisasjonen. I Fabric så er det mye infrastruktur konsolidert inn noe som vil kreve mindre konfigurering av brannmurer og trygg forvaltning av hemmeligheter. Problemene som skal løses med data endres ikke. Det er like knotete å løse problemer med data som før, men ved å gjøre data mer tilgjengelig så har en kanskje flere som kan være med å løse disse problemene på måter som passer hver enkelt bedre.
Vi tar gjerne en prat om smart bruk av data generelt og Fabric spesielt. Alternativene er mange, og vi er opptatt av at en investerer i teknologi og kompetanse som passer hver enkelt organisasjon og at en ivaretar muligheter for å benytte ulike tjenester på sikt.
