By Anand Rao, Geïnteresseerd in geavanceerde wetenschap, techniek, politiek en filosofie.

Bron: Gemaakt door de auteur.

Complexiteit doordringt de huidige samenleving - of we nu kijken naar de economie, bedrijven die binnen de economie opereren, individuen die verschillende rollen in de samenleving spelen, hoe ons fysieke, sociale, politieke en industriële complex met elkaar omgaan, we kunnen de complexiteit ervan niet negeren . Er is geen enkele of eenvoudige verklaring die de complexiteit van dit alles weergeeft. Als datawetenschappers moeten we deze complexiteit begrijpen en ons denken aanscherpen om te isoleren wat belangrijk is, te negeren wat niet belangrijk is, en door te gaan met het beantwoorden van belangrijke vragen die ons worden gesteld.

In deze blog ga ik dieper in op enkele van de belangrijkste 'denk'-paradigma's die me hebben geholpen bij het conceptualiseren van de abstracte problemen die mij werden gesteld en hoe ik deze problemen heb kunnen aanpakken om inzichten te genereren. Hoewel meta-cognitie of 'denken over denken' een rijk onderwerp van discussie is - een onderwerp dat volgens mij van cruciaal belang is voor het streven van AI - zal ik mijn aandacht hier beperken tot denkparadigma's die nuttig zijn voor datawetenschappers.

Model denken

Als datawetenschappers is de eerste en belangrijkste vaardigheid die we nodig hebben om te denken in termen van: modellen. In zijn meest abstracte vorm is een model elke fysieke, wiskundige of logische weergave van een object, eigenschap of proces. Laten we zeggen dat we een vliegtuigmotor willen bouwen die zware lasten kan tillen. Voordat we de complete vliegtuigmotor bouwen, kunnen we een miniatuurmodel bouwen om de motor te testen op verschillende eigenschappen (bijv. brandstofverbruik, vermogen) onder verschillende omstandigheden (bijv. tegenwind, botsing met objecten). Zelfs voordat we een miniatuurmodel bouwen, bouwen we misschien een 3D digitaal model dat kan voorspellen wat er zal gebeuren met het miniatuurmodel dat is opgebouwd uit verschillende materialen.

In elk van deze gevallen waren er twee verschillende entiteiten - a model en object dat werd gemodelleerd. In het eerste geval was de miniatuurmodelmotor een model van de complete vliegtuigmotor. In het tweede geval was het digitale model van de motor een model van de miniatuurmodelmotor. Het digitale model zelf zou verschillende aspecten van de fysica van de vlucht (bijvoorbeeld stuwkracht) moeten modelleren. Het model hoeft dus niet altijd van een object te zijn. Het kan ook van een eigendom. Een model van de zwaartekracht houdt bijvoorbeeld rekening met de relatieve massa van de twee objecten en de afstand tussen het middelpunt van hun massa. In dit specifieke geval is het model een vergelijking of een wiskundige representatie. In het geval van de miniatuurmodelmotor was het model een fysiek model.

Modellen kunnen ook ongeveer een  . Een vrij algemeen model van consumentenaankoopproces begint bijvoorbeeld met bewustwording, overweging, aankoop en herhalingsaankopen. Hier is het model een logische weergave van het stapsgewijze proces. Dezelfde logische weergave kan worden uitgedrukt met vergelijkingen of kan worden geprogrammeerd als code.

Modellen zijn dus abstracties van de werkelijkheid of iets dat het bestuderen waard is. Het zijn ook manieren waarop we onze wereld uitleggen en begrijpen. Charlie Munger, vice-voorzitter van Berkshire Hathaway, is een van de grootste voorstanders van deze manier van denken [1]

“Ik denk dat het onmiskenbaar waar is dat het menselijk brein in modellen moet werken. De truc is om je brein beter te laten werken dan dat van de ander, omdat het de meest fundamentele modellen begrijpt: degene die het meeste werk per eenheid zullen doen.” "Als je de mentale gewoonte krijgt om wat je leest te relateren aan de basisstructuur van de onderliggende ideeën die worden gedemonstreerd, verzamel je geleidelijk wat wijsheid."

Charlie Munger heeft de waarde van dit soort modeldenken in de zakenwereld ruimschoots aangetoond. Deze vaardigheid is niet alleen van cruciaal belang voor beleggen, maar is ook een betere manier om de wereld te begrijpen. Dit type modeldenken is ook essentieel voor datawetenschappers en AI-onderzoekers. We moeten vaak een bepaald aspect van menselijke besluitvorming modelleren (bijv. voorspelling, optimalisatie, classificatie - zie [2] voor meer details) of een proces of fenomeen begrijpen (bijv. abnormaal gedrag). Vaak wordt een beroep gedaan op domeinexperts op een aantal verschillende gebieden - bedrijfskunde, wetenschap (natuurkunde, scheikunde, biologie), techniek, economie of sociale wetenschappen - om modellen te bouwen om de wereld te begrijpen, inzichten te verkrijgen, beslissingen te nemen, of handelen.

Als datawetenschappers de mentale modellen op deze gebieden kunnen begrijpen, wordt het voor ons gemakkelijker om ze te modelleren als wiskundige formules, logische representaties of gewoon code. In feite zijn er een aantal boeken [2-4] over mentale modellen en letterlijk honderden mentale modellen die zijn gecategoriseerd. De site over Mental Models [6] somt 339 modellen op in tien verschillende categorieën, waaronder economie en strategie, menselijke natuur en oordeel, systemen, de biologische of fysieke werelden, enz. Scott Page in zijn artikel [7] pleit voor waarom ' veelmodeldenkers nemen betere beslissingen. Niet alleen zijn veelmodeldenkers betere beslissers, maar datawetenschappers die kunnen denken en een ensemble van modellen kunnen bouwen op basis van de honderden mentale modellen, zijn ook betere datawetenschappers. Kortom, het hebben van een ensemble van modellen is goed voor mens en machine!

Figuur 1: Wat is modeldenken? (Bron: Geproduceerd door de auteur.)

Systeemdenken

In mijn dertigjarige carrière in het bedrijfsleven en de technologie is het meest bruikbare, praktische en diepgaande mentale model dat ik uitgebreid heb gebruikt, systeemdenken. Het heeft me geholpen het grotere geheel te zien en de onderlinge relaties tussen schijnbaar niet-gerelateerde gebieden. Ik vind het van cruciaal belang voor datawetenschappers om systeemdenken goed te begrijpen en ook in de praktijk te brengen. Peter Senge vat helder samen wat systeemdenken is:

“Systeemdenken is een discipline voor het zien van de 'structuren' die ten grondslag liggen aan complexe situaties en voor het onderscheiden van hoge van lage leverage change. Dat wil zeggen, door gehelen te zien, leren we hoe we gezondheid kunnen bevorderen. Om dit te doen, biedt systeemdenken een taal die begint met het herstructureren van hoe we denken.”

Er zijn een aantal boeken [10-12] en zelfs meerdere series blogs op Medium [8,9] die systeemdenken beschrijven. In mijn eigen werk ben ik het meest beïnvloed door het werk van Barry Richmond [12–13] en John Sterman [11]. Ik zal op hun werk putten om te illustreren wat het is en waarom het relevant is voor datawetenschappers.

Ons traditionele onderwijscurriculum legt de nadruk op analytisch denken - het vermogen om een ​​probleem te nemen, het op te splitsen in de samenstellende delen, oplossingen voor deze onderdelen te ontwikkelen en ze samen te voegen. Als adviseurs wordt u voortdurend aangespoord om MECE (Mutally Exclusive and Collectively Exhaustive) in uw denken te zijn en uw hypothesen duidelijk uiteen te zetten en een MECE-set van opties te ontwikkelen om elk probleem aan te pakken. Hoewel analytisch en MECE-denken een specifieke rol spelen bij het begrijpen van problemen, worden we er vaak door verblind en stellen we het zelden in vraag. Systeemdenken is daarentegen een perfect tegengif voor het MECE-denken. Laten we eens kijken naar enkele van de belangrijkste denkpatronen die de systeembenadering met zich meebrengt.

Dynamisch denken - een denkpatroon dat de framing van een probleem versterkt in termen van hoe het zich in de loop van de tijd ontwikkelt. Terwijl statisch denken zich richt op specifieke gebeurtenissen, richt dynamisch denken zich op hoe gedragingen van fysieke of menselijke systemen in de loop van de tijd veranderen. Het vermogen om na te denken over hoe de input in de loop van de tijd zou kunnen veranderen en de impact die deze zal hebben op het outputgedrag is van cruciaal belang.

Datawetenschappers benaderen vaak problemen met transversale gegevens op een bepaald moment om voorspellingen of gevolgtrekkingen te maken. Helaas kunnen, gezien de constant veranderende context rond de meeste problemen, maar heel weinig dingen statisch worden geanalyseerd. Statisch denken versterkt de 'eenmalige' benadering van modelbouw, die op zijn best misleidend en in het slechtste geval rampzalig is. Zelfs eenvoudige aanbevelingsengines en chatbots die zijn getraind op historische gegevens, moeten regelmatig worden bijgewerkt. Het begrijpen van de dynamische aard van verandering is essentieel voor het bouwen van robuuste datawetenschapsmodellen.

Systeem-als-oorzaak denken — een denkpatroon dat bepaalt wat moet worden opgenomen binnen de grenzen van ons systeem (dwz uitgebreide grens) en de mate van granulariteit van wat moet worden opgenomen (dwz intensieve grens). De uitgebreide en intensieve grenzen zijn afhankelijk van de context waarin we het systeem analyseren en wat onder de controle van de beslisser valt versus wat buiten hun controle is.

Datawetenschappers werken doorgaans met alle gegevens die aan hen zijn verstrekt. Hoewel het een goed startpunt is, moeten we ook de bredere context begrijpen rond hoe een model zal worden gebruikt en wat de beslisser kan controleren of beïnvloeden. Bij het bouwen van een robo-adviestool kunnen we bijvoorbeeld een aantal verschillende aspecten opnemen, variërend van macro-economische indicatoren, prestaties van activaklassen, bedrijfsinvesteringsstrategieën, individuele risicobereidheid, levensfase van het individu, gezondheidstoestand van de belegger enz. De breedte en diepte van de factoren die moeten worden opgenomen, hangt af van het feit of we een tool bouwen voor een individuele consument, een adviseur, een vermogensbeheerder of zelfs een beleidsmaker bij de overheid. Als we een groter beeld hebben van de verschillende factoren en hoe ze elkaar beïnvloeden, samen met de gebruiker en de context van de gebruiker, kunnen we gerichte modellen bouwen en deze op de juiste manier bepalen.

Bos denken — een denkpatroon dat ons in staat stelt het 'grotere plaatje' te zien en waar nodig te aggregeren zonder de essentiële details uit het oog te verliezen. Vaak worden datawetenschappers gedwongen tot boom-voor-boom denken als ze naar individuele elementen van data kijken (bijv. individuele klantdata) en niet het grotere plaatje zien van welke data nodig zijn om het gestelde probleem op te lossen. Ik heb dit vaak zien vertalen in 'het beste model bouwen dat we kunnen bouwen met behulp van beschikbare gegevens' in plaats van te onderzoeken 'welke gegevens nodig kunnen zijn om te verzamelen om het probleem dat we hebben op te lossen'.

Operationeel denken — een denkpatroon dat zich richt op het operationele proces of de 'causaliteit' van hoe gedrag zich manifesteert in systemen. Het tegenovergestelde van operationeel denken is factordenken of op lijsten gebaseerd denken of MECE-denken dat ik eerder noemde. Vertrouwen op machinaal leren als de primaire of enige methode voor datawetenschap zou ons allemaal gemakkelijk kunnen doen denken aan factoren waarbij de nadruk ligt op het voorspellen van de outputvariabele zonder rekening te houden met het proces of causaliteit. Hoewel dit geschikt kan zijn voor een aantal toepassingen, zijn ze niet universeel toepasbaar. Recent onderzoek naar verklaarbare AI is een poging om een ​​deel van het proces en de reden voor hoe de antwoorden tot stand zijn gekomen na te bootsen.

Closed-loop-denken — een denkpatroon dat probeert om feedbackloops in systemen te identificeren waardoor bepaalde effecten oorzaken worden. De overheersende 'tijd als een pijl' die in één voorwaartse richting beweegt, is een krachtige mentaliteit die ons denken in zaken en wetenschappelijke inspanningen heeft beperkt. Datawetenschappers zijn niet immuun voor deze trend. Causale lusdiagrammen en voorraadstroomdiagrammen die veel worden gebruikt door de systeemdynamicagemeenschap en causale gevolgtrekkingen zijn enkele van de tools die datawetenschappers ter beschikking staan ​​om te breken met het lineaire denken.

Dit zijn slechts enkele van de belangrijkste patronen van systeemdenken. Barry Richmond [12,13] heeft het ook over: kwantitatief denken, wetenschappelijk denken, niet-lineair denken en 10,000 meter denken. Daarnaast deelt hij principes van communicatie en leren die het bestuderen waard zijn.

Ik vind de benadering van systeemdenken bijzonder aantrekkelijk om een ​​paar belangrijke redenen. Ten eerste biedt het een alternatieve denkwijze en, nog belangrijker, een denkwijze die verbanden legt tussen ongelijksoortige delen en vaker wel dan niet een uniek perspectief biedt voor het oplossen van problemen. Ten tweede is het meer open en biedt het meerdere gezichtspunten en afwegingen om te analyseren in plaats van een uniek en correct antwoord te claimen. Dit leidt vaak tot beter geïnformeerde menselijke beslissingen in tegenstelling tot broze en onverklaarbare machinebeslissingen. Ten derde biedt het een betere manier om beslissingen uit te leggen en te communiceren. In volgende artikelen zal ik specifieke voorbeelden nemen die deze voordelen illustreren.

Figuur 2: Wat is systeemdenken? (Bron: Geproduceerd door Auteur)

Agent-gebaseerd denken

Als u op internet zoekt naar denken op basis van agenten, vindt u misschien niet veel. In plaats daarvan ziet u een aantal verwijzingen naar: op agenten gebaseerde modellering (ABM). Hoewel ABM de concrete realisatie is van dit soort denken dat ik in komende artikelen zal onderzoeken, wil ik me concentreren op het denken dat voorafgaat aan het bouwen van dergelijke agentgebaseerde modellen.

Agent-gebaseerd denken - een denkpatroon waarbij we ons concentreren op eenvoudiger (of atomaire) entiteiten of concepten en hoe relatief eenvoudige interacties tussen deze entiteiten kunnen resulteren in opkomend systeemgedrag. Net als bij systeemdenken zijn we geïnteresseerd in gedrag op systeemniveau, maar in plaats van de relaties vanuit een top-down perspectief te observeren, analyseren we systeemgedrag vanuit een bottom-up perspectief. Het denken is individueel gericht - wat is de toestand (fysiek of mentaal) van het individu, hoe gaat het individu om met zijn omgeving en andere individuen, en hoe verandert dat zijn toestand. Dergelijk individueel of op agenten gebaseerd denken kan worden toegepast op fysieke activa (bijvoorbeeld een thermostaat kan als een agent worden beschouwd), individuele consumenten (bijvoorbeeld het modelleren van individuele consumenten die aankoopbeslissingen nemen in een marketingcontext), bedrijfsentiteiten (bijvoorbeeld bedrijven handelen in hun eigen belang om markten efficiënt te maken), of zelfs nationale regeringen (bijvoorbeeld landen die met elkaar handelen op basis van hun comparatieve voordeel).

Systeemdenken en denken op basis van agenten kunnen worden toegepast op dezelfde reeks problemen en vergelijkbare resultaten opleveren, maar benaderen vanuit verschillende denkrichtingen of mentale modellen. De bekende epidemiologische modellen van ziekteprogressie - SEIR (vatbaar, blootgesteld, infectieus, hersteld) kunnen bijvoorbeeld worden geanalyseerd vanuit een systeemperspectief of een individueel perspectief. Als we kijken naar de hele populatie van vatbare, blootgestelde enz., werken we op systeemniveau en als we kijken naar de toestand van elk individu of ze al besmettelijk zijn, hersteld zijn enz. van de ziekte, opereren we op het niveau van agenten.

Wanneer we willen overstappen van geaggregeerd gedrag van ziekteprogressie naar individueel gedrag, wordt agent-based denken een meer natuurlijke manier van denken. Als we bijvoorbeeld niet alleen geïnteresseerd zijn in de algemene niveaus van infecties, maar willen begrijpen welke personen vatbaar zijn voor de ziekte of het gedrag (bijv. sociale afstand of het dragen van maskers) van specifieke personen en hoe deze kunnen bijdragen aan ziekteprogressie , is het op agenten gebaseerde denken een meer natuurlijke benadering.

Agentgebaseerd denken is de basis voor agentgebaseerde modellering (ook wel agentgebaseerde simulatie- of microsimulatiesystemen genoemd), multi-agentsystemen en versterkingsleren. Als gevolg hiervan moet een datawetenschapper zich op zijn gemak voelen bij het analyseren van problemen vanuit het perspectief van een individuele agent - waarbij de individuele agenten IoT-apparaten of fysieke activa kunnen zijn (in de volksmond 'digitale tweelingen' genoemd) of individuele besluitvormingsentiteiten zoals consumenten, bedrijven enz.

Ik vind agentgebaseerd denken vooral aantrekkelijk in bepaalde soorten situaties. Ten eerste, wanneer de verzameling entiteiten of agenten identificeerbaar en heterogeen is, biedt dit een intuïtieve manier om hun gedrag te bestuderen. Ten tweede, wanneer interacties tussen entiteiten meer gelokaliseerd zijn, is het gemakkelijker om ze te bestuderen met op agenten gebaseerd denken. Ten derde, wanneer het individuele gedrag (of het gedrag van groepen individuen) belangrijker is dan het systeemgedrag, biedt agentgebaseerd denken een betere benadering. Ten vierde, wanneer de individuele entiteiten zich op verschillende manieren aanpassen en veranderen, zijn we beter af op individueel niveau dan op systeemniveau.

Figuur 3: Wat is agent-based denken? (Bron: Geproduceerd door de auteur)

Gedrags (economisch) denken

De verzameling mentale modellen rond de menselijke natuur en oordeel [6], vaak gedragseconomie genoemd, heeft me aanzienlijk beïnvloed in zowel mijn advies- als AI-reis. Interessant is dat zowel AI als gedragseconomie een gemeenschappelijke voorouders hebben. Herbert Simons notie van begrensde rationaliteit zette vraagtekens bij de heersende opvatting van 'mensen als ideale rationele beslissers' en stelde in plaats daarvan dat we beslissingen nemen die worden beperkt door ons denkvermogen, beschikbare informatie en tijd [14]. Dit was de basis voor het vakgebied van de gedragseconomie [15-17] dat sinds het einde van de twintigste eeuw in opkomst is. Simon wordt ook beschouwd als een van de grondleggers van AI, en zijn werk aan de ontwikkeling van heuristische programma's en het oplossen van menselijke problemen legde de basis voor toekomstige symbolische AI-systemen. In zijn woorden [1900],

Het principe van begrensde rationaliteit [is] dat het vermogen van de menselijke geest om complexe problemen te formuleren en op te lossen erg klein is in vergelijking met de omvang van de problemen waarvan de oplossing vereist is voor objectief rationeel gedrag in de echte wereld - of zelfs voor een redelijke benadering van dergelijke objectieve rationaliteit.

In de afgelopen decennia heeft gedragseconomie een diepgaande invloed gehad in de academische en zakelijke wereld op hoe mensen beslissingen nemen [15], de onderliggende processen voor het nemen van de beslissingen [16], hoe ze kunnen afwijken van een ideaal nut-maximaliserend economisch perspectief, en hoe ze in hun eigen voordeel tot bepaalde beslissingen kunnen worden aangezet [17].

Gedrags (economisch) denken (of gedragsmatig denken kortweg) is een denkpatroon dat zich richt op hoe mensen werkelijk beslissingen nemen in plaats van hoe ze moeten om beslissingen te nemen. Wanneer we denken op basis van agenten, moeten we vaak begrijpen hoe mensen beslissingen nemen (bijvoorbeeld beslissingen over welke goederen ze moeten kopen, hoeveel ze moeten investeren, enz.). Gedragseconomische principes zoals verankering, standaardwaarden, bandwagon-effect, verliesaversie, hyperbolische verdiscontering en een enorme lijst van andere heuristieken proberen uit te leggen hoe we beslissingen nemen onder verschillende scenario's.

Als datawetenschapper vind ik gedragsdenken op twee specifieke manieren nuttig. Ten eerste helpt het ons te begrijpen hoe mensen beslissingen nemen, zodat we kunnen begrijpen hoe de modellen die door datawetenschappers zijn gebouwd door hen zullen worden gebruikt en welke verklaringen nodig zijn voor een betere acceptatie. Ten tweede helpt het ons bij het modelleren van menselijke besluitvorming binnen agenten om algemeen gedrag te simuleren of te observeren. Dit tweede aspect kan worden gezien als een verdere specialisatie van het agent-based denken.

Figuur 4: Wat is gedragsdenken? (Bron: Geproduceerd door de auteur)

Computationeel denken

De term computationeel denken werd voor het eerst geïntroduceerd door Seymour Papert [18] in 1980. Het belang van computationeel denken als een cruciaal onderdeel van het computerwetenschappelijk onderwijs kwam echter pas veel later met een paper van Jeannette Wing [10]. De fundamenten van computationeel denken zijn in de laatste helft van de vorige eeuw volwassen geworden met algoritmisch denken, computationele benaderingen van alle aspecten van wetenschap, techniek en zaken.

Computationeel denken is een denkpatroon dat de nadruk legt op gestructureerde probleemoplossing, probleemdecompositie, patroonherkenning, generalisatie en abstractie die kan worden gecodeerd en uitgevoerd door computers. Computationeel denken heeft een diepgaande invloed gehad op de opeenvolgende revoluties die volgden op de industriële revolutie - de computerrevolutie, de internet- en smartphonerevolutie en nu de big data-, analyse- en AI-revoluties.

Hoewel alle eerdere denkpatronen die ik heb besproken, kunnen worden toegepast om zowel mensen als machines te begrijpen, staat computationeel denken centraal bij het creëren van intelligente systemen. Als alternatief kunnen we computationeel denken ook zien als het mechanisme voor het coderen en realiseren van de andere soorten denken. Daarom moeten we als datawetenschappers vaak computationeel denken en nauwkeurig zijn in de instructies die we geven.

Afbeelding 5: Wat is computationeel denken? (Bron: Geproduceerd door de auteur)

Referenties

[1] Trents Griffioen. Een dozijn dingen die ik heb geleerd van Charlie Munger over mentale modellen en wereldse wijsheid. Augustus 22, 2015.

[2] Anand Rao. Tien menselijke vaardigheden en vier soorten intelligentie om mensgerichte AI te benutten. Gemiddeld — Opstarten, 10 oktober 2020.

[3] Shane Parrish en Rhiannon Beaubien. The Great Mental Models Volume 1: General Thinking Concepts. Latticework Publishing Inc. 2019.

[4] Shane Parrish en Rhiannon Beaubien. The Great Mental Models Volume 2: Natuurkunde, Scheikunde en Biologie. Latticework Publishing Inc. 2020.

[5] Gabriel Weinberg en Lauren McCann. Super Thinking: The Big Book of Mental Models. Portefeuille, 2019.

[6] De wereld begrijpen met mentale modellen: 339 modellen uitgelegd om in je hoofd rond te dragen.

[7] Scott E-pagina. Waarom "veelmodeldenkers" betere beslissingen nemen, Harvard Business Review, 19 november 2018.

[8] Leyla Acaroglu. Tools voor systeemdenkers: de zes fundamentele concepten van systeemdenken. Medium — Disruptief ontwerp. 7 september 2017.

[9] Andreas Henning. Systeemdenken Deel 1 — Element, onderlinge verbanden en doelen. Gemiddeld — Betere systemen. Augustus 1, 2018.

[10] Donella-weiden. Denken in systemen: een primeur. Uitgeverij Chelsea Green. 2008.

[11] Jan Sterman. Bedrijfsdynamiek: systeemdenken en -modellering voor een complexe wereld. McGraw-Hill Onderwijs. 2000.

[12] Barry Richmond. Een inleiding tot systeemdenken met Stella. ISEE-systemen, 2004.

[13] Barry Richmond. Het “denken” in systeemdenken. Hoe kunnen we het gemakkelijker maken om te beheersen?. Systeem denker.

[14] Herbert Simon. Modellen van begrensde rationaliteit Deel 1: Economische analyse en openbaar beleid. De MIT-pers. 1984.

[15] Dan Ariely. Voorspelbaar irrationele, herziene en uitgebreide editie: de verborgen krachten die onze beslissingen vormgeven. Harper Collins, 2009.

[16] Daniël Kahneman. Denken, snel en langzaam. Farrar, Straus en Giroux, 2013.

[17] Richard Thaler en Cass Sunstein. Nudge: beslissingen over gezondheid, rijkdom en geluk verbeteren. Penguin Books, 2009.

[18] Seymour Papert. Mindstorms: kinderen, computers en krachtige ideeën. Basisboek, Inc., 1980.

[19] Jeannette-vleugel. Computationeel denken. Mededelingen van de ACM 49 (3):33-35. 2006.

ORIGINELE. Met toestemming opnieuw gepost.

Zie ook:

• 7 meest aanbevolen vaardigheden om te leren om een ​​datawetenschapper te worden
• Essentiële datawetenschapsvaardigheden waar niemand het over heeft
• Hoe u de juiste vragen kunt formuleren die moeten worden beantwoord met behulp van gegevens