By Jason Ganzo, een senior data-analist bij GoCanvas.

Analytics-engineering — een inleiding

Er is een stille revolutie gaande in de wereld van data. Jarenlang worden we overspoeld met non-stop artikelen over "The Sexiest Job of the 21st Century" - een datawetenschapper. Een datawetenschapper, zo is ons geleerd, is een figuur van bijna buitenaardse intelligentie die quasi-mystieke kunsten gebruikt om op een toverachtige manier gegevens te verzamelen. Maar als je tegenwoordig praat met de mensen die de gegevensruimte het meest in de gaten houden, is er een andere gegevensrol die hen nog enthousiaster maakt.

Voor alle duidelijkheid: er zijn enkele zeer reële en zeer coole toepassingen van datawetenschap waarmee organisaties dingen kunnen doen met gegevens die de manier waarop hun organisatie werkt volledig kunnen transformeren. Maar voor veel organisaties, met name kleinere organisaties zonder miljoenen dollars om te investeren, lopen datawetenschapsinitiatieven vaak mis vanwege het ontbreken van een solide data-infrastructuur om hen te ondersteunen.

Terwijl iedereen gefocust was op de opkomst van datawetenschap, kreeg een andere discipline stilletjes vorm, niet gedreven door blitse artikelen in Harvard Business Review, maar door de mensen die in de loopgraven werkten in data-intensieve functies. Ze noemen het de analyse ingenieur.

Een analytics engineer is iemand die de data-savvy en domeinkennis van een analist samenbrengt met software engineering tooling en best practices. Dat betekent van dag tot dag uitgeven aan een reeks tools die bekend wordt als "De moderne gegevensstapel” en in het bijzonder dbt. Met deze tools kunnen analytics-engineers gegevens centraliseren en vervolgens modelleren voor analyse op een manier die: opmerkelijk goedkoop en gemakkelijk vergeleken met hoe de ETL van traditionele Business Intelligence-teams uit het verleden werkte.

Hoewel datawetenschappers door sommigen als tovenarij worden gezien, is de houding van de analytische ingenieur een beetje anders. Je hoort ze zichzelf alles noemen, van "bescheiden dataloodgieters" tot "gewoon een pissige data-analist.” Het werk van een Analytics Engineer lijkt gemakkelijk te begrijpen, bijna banaal. Ze combineren databronnen, passen logica toe, zorgen voor schone en goed gemodelleerde materialisaties om te analyseren.

Het blijkt dat analytics-engineering een verdomde supermacht. Iedereen die in, nou ja, eigenlijk elke organisatie heeft gewerkt, weet dat er enorm veel moeite wordt gestoken in het standaardiseren van datapunten die het gevoel hebben dat ze een no-brainer zouden moeten zijn om te trekken, terwijl complexere vragen gewoon jarenlang onbeantwoord blijven. Met Analytics Engineering beschikt u over datasystemen die: gewoon werk.

Een goede analytics-engineer heeft een enorme impact voor een organisatie, waarbij elke analytics-engineer kan helpen een echt datagestuurde cultuur op te bouwen op een manier die een uitdaging zou zijn voor een team van mensen die legacy-tools gebruiken. Terwijl er in het verleden enorm veel repetitief werk was om eenvoudige analyses uit te voeren, kunnen Analytics Engineers complexe datamodellen bouwen met tools zoals dbt en analyseklare datatabellen laten bouwen volgens elk schema. Terwijl het voorheen onmogelijk was om iemand het eens te worden over standaarddefinities van metrische gegevens, kunnen Analytics Engineers ze eenvoudig in hun codebase inbouwen. En in het verleden worstelden mensen met onvolledige en rommelige gegevens, en Analytics Engineers... worstelen nog steeds met onvolledige en rommelige gegevens. Maar we kunnen in ieder geval een reeks tests op onze analysesystemen uitvoeren om te weten wanneer er iets mis is gegaan!

De opkomst van analytische engineering

Je zou kunnen denken dat deze ontwikkeling angstaanjagend zou zijn voor mensen die in data werken - als een analytics-engineer aanzienlijk meer impact heeft dan een data-analist, komen onze banen dan niet in gevaar? Zou een organisatie vijf data-analisten kunnen vervangen door één Analytics Engineer en vooruit komen?

Maar het feit is dat geen enkele data-analist, waar dan ook, ooit in de buurt is gekomen van het uitvoeren van alle analyses waarvan zij denken dat die van invloed kunnen zijn op hun organisatie - het tegenovergestelde is veel waarschijnlijker het probleem. De meeste data-organisaties smeken om extra personeel.

Naarmate analytics-engineers de hoeveelheid inzicht vergroten die organisaties uit data kunnen halen, wordt het eigenlijk: meer waarschijnlijk dat deze organisaties extra datatalent willen inhuren (zowel analytics-engineers als analisten). In zijn fantastische post De reorganisatie van de fabriek, stelt Erik Bernhardsson dat naarmate de toolsets voor software-engineers steeds efficiënter zijn geworden, de vraag naar software-engineers contra-intuïtief is geworden gegroeid - omdat er steeds meer gevallen zijn waarin het nu zinvol is om software te bouwen in plaats van een handmatig proces. Dit punt geldt niet alleen voor gegevens, maar ik denk dat het dat ook is meer waar voor gegevens.

Hoewel elke organisatie software nodig heeft, heeft niet elke organisatie dat nodig software-ingenieurs. Maar elke organisatie moet leren van hun data, en aangezien de manieren waarop de gegevens moeten worden begrepen in elke organisatie uniek zullen zijn, ze hebben allemaal analytics-engineers nodig. Van software wordt vaak gezegd dat het de wereld opeet - analytics-engineering zal in de wereld worden ingebed. Naarmate de incrementele waarde van elke datahuur stijgt, zijn er substantiële nieuwe gebieden waar data-inzichten en lessen kunnen worden toegepast die ze vandaag niet zijn. En zelfs als je niet geïnteresseerd bent in worden een analytisch ingenieur, die goed gemodelleerde en nauwkeurige gegevens heeft, maakt data-analisten en datawetenschappers effectiever. Het is een overwinning over de hele linie.

Dat betekent niet noodzakelijkerwijs dat elke rol in analytics-engineering goed zal zijn voor de wereld. Met krachtigere gegevensbewerkingen kunt u vragen stellen, inzichten zoeken en nieuwe strategieën zoeken. Het kan een organisatie ook nieuwe manieren bieden om hun werknemers te controleren, te bewaken of te discrimineren. Je hoeft op dit moment alleen maar naar de talloze openbare problemen in de technologie- en datawetenschapsindustrie te kijken om te zien op welke manieren krachtige technologie kan worden misbruikt. Het is belangrijk om zowel de potentiële gevaren als de nieuwe kansen te herkennen.

Als het voelt alsof we ons op een echt buigpunt voor Analytics Engineering bevinden, is dat omdat we dat zijn. Wat zeer recent het domein was van een paar avontuurlijke datateams, wordt snel de industriestandaard voor technische organisaties - en er is alle reden om aan te nemen dat andere soorten organisaties binnenkort zullen volgen. De impact is gewoon te groot.

We gaan een enorme uitbreiding zien in het aantal en de soorten plekken waar je als analytics engineer aan de slag kunt. De komende hausse aan kansen voor analytics-ingenieurs zal plaatsvinden in drie ruwe domeinen, met elk verschillende uitdagingen en kansen.

• Steeds meer grote ondernemingen, zowel technische als niet-technische organisaties, gaan zich aanpassen aan de moderne datastack. Naarmate analytics-engineering wordt toegepast in de meest complexe legacy-gegevenssystemen, zullen we beginnen te zien welke patronen zich ontwikkelen om analytics-engineering op schaal te ondersteunen. Als je echt wilt weten hoe de grootschalige datasystemen van de toekomst eruit zien, dan zit je hier goed.
• Zowat elk nieuw bedrijf zal op zoek zijn naar een analytics-engineer om hun data-initiatieven te leiden. Dit geeft hen een voorsprong op concurrentie die niet in hun kerngegevens investeert. Een vroege analytics-engineer zijn bij een snelgroeiend bedrijf is enorm leuk en opwindend, omdat je in staat bent om een ​​data-organisatie helemaal opnieuw op te bouwen en uit de eerste hand te zien hoe analytics-engineering het traject van een organisatie kan veranderen.
• Ten slotte zullen veel organisaties buiten de technische zakenwereld de impact gaan zien die analytics-engineering kan hebben. Je hebt misschien niet hetzelfde technische budget en je moet misschien wat meer voor jezelf leren pleiten, maar het is misschien het gebied waar analytics-engineering het meeste potentieel heeft om goed te doen voor de wereld. Stadsbesturen zullen analytics-engineering gebruiken om programma's te monitoren en ervoor te zorgen dat de overheidsmiddelen effectief worden gebruikt. Academische instellingen zullen analytics-engineering gebruiken om datasets te creëren, waarvan vele openbaar, die zullen helpen bij wetenschappelijke en technologische ontwikkeling. De mogelijkheidsruimte is wijd open.

Analytics-engineering is in wezen een discipline die draait om het begrijpen van de wereld om ons heen. Het gaat erom iedereen in een organisatie een beetje verder te laten zien in hun impact op de organisatie en hoe hun werk daarmee samenhangt. Op dit moment is analytics-engineering nog een nieuwe discipline - binnenkort zal het overal zijn.

ORIGINELE. Met toestemming opnieuw gepost.

Zie ook:

• Waarom u zou moeten overwegen om een ​​data-engineer te zijn in plaats van een datawetenschapper
• 9 vaardigheden die u nodig hebt om een ​​data-ingenieur te worden
• Data Engineering - de neef van Data Science, is lastig