Pinterest introduceert Querybook met open source, een oplossing voor gegevensbeheer voor technische samenwerking op ondernemingsniveau op afstand. Het bedrijf zegt dat de tool, die het intern gebruikt, ingenieurs kan helpen bij het opstellen van vragen, het maken van analyses en het met elkaar samenwerken via een notebookinterface.

Querybook begon in 2017 als stageproject bij Pinterest. Het ontwikkelteam besloot al vroeg tot een documentachtige interface waar gebruikers op één plek vragen en analyses konden schrijven, met gebundelde metadata en de eenvoud van een notitie-app. Querybook, intern uitgebracht in maart 2018, werd de go-to-oplossing voor big data-analyse op Pinterest. Het heeft nu gemiddeld 500 dagelijkse actieve gebruikers en 7,000 dagelijkse zoekopdrachten.

"Met Querybook hebben Pinterest-ingenieurs de kracht van metadata samengebracht met de eenvoud van een notitie-app voor een betere query-interface, waar teams queries kunnen opstellen en analyses kunnen schrijven, allemaal op één plek", vertelde een woordvoerder aan VentureBeat. “Querybook kan binnen enkele minuten worden ingesteld en geïmplementeerd.”

Elke query die op Querybook wordt uitgevoerd, wordt geanalyseerd om metagegevens zoals tabellen waarnaar wordt verwezen en queryrunners te extraheren. Querybook gebruikt deze informatie om het gegevensschema en de zoekrangschikking automatisch bij te werken, en om de frequente gebruikers en zoekopdrachtvoorbeelden van een tabel weer te geven. Hoe meer queries in Querybook, hoe beter gedocumenteerd de tabellen worden.

Querybook beschikt ook over een beheerdersinterface waarmee bedrijven query-engines, de opname van tabelmetagegevens en toegangsrechten kunnen configureren. Vanuit deze interface kunnen beheerders live Querybook-wijzigingen aanbrengen zonder code- of configuratiebestanden te doorlopen. En ze kunnen visualisaties maken, waaronder lijnen, staven, gestapelde gebieden, taarten, donuts, spreidingsdiagrammen en tabeldiagrammen.

“Het gebruikelijke startpunt voor elke analyse op Pinterest is een ad-hocquery die wordt uitgevoerd op het interne Hadoop- of Presto-cluster. Om deze verbeteringen continu door te voeren, vooral in een steeds afgelegener wordende omgeving, is het belangrijker dan ooit dat teams queries kunnen opstellen, analyses kunnen maken en met elkaar kunnen samenwerken”, schreef Pinterest in een blogpost. “We hebben Querybook gebouwd om een ​​responsieve en eenvoudige webgebruikersinterface voor dergelijke analyses te bieden, zodat datawetenschappers, productmanagers en ingenieurs de juiste gegevens kunnen ontdekken, hun vragen kunnen opstellen en hun bevindingen kunnen delen.”

Pinterest was voorheen open source Teletraan, een tool die code kan implementeren op virtuele machines, zoals die beschikbaar zijn via de openbare cloud van Amazon Web Services. Voorafgaand aan deze, het bedrijf vrijgegeven Moerasschildpad, software die is ontworpen om gegevens efficiënter uit de Hadoop open source big data-software te halen en beschikbaar te maken voor gebruik door andere systemen.