By 아난드 라오, 최첨단 과학, 공학, 정치 및 철학에 관심.

출처 : 저자 제작.

오늘날의 사회에는 복잡성이 만연해 있습니다. 경제, 경제 내에서 운영되는 기업, 사회에서 다른 역할을하는 개인, 우리의 물리적, 사회적, 정치적, 산업 단지가 서로 상호 작용하는 방식을 살펴보면 복잡성을 무시할 수 없습니다. . 모든 것의 복잡성을 포착하는 단일 또는 간단한 설명은 없습니다. 데이터 과학자로서 우리는 이러한 복잡성을 이해하고 중요한 것은 분리하고 그렇지 않은 것은 무시하고 우리에게 제기 된 주요 질문에 답하기 위해 생각을 연마해야합니다.

이 블로그에서는 제게 제기 된 추상적 인 문제를 개념화하는 데 도움이 된 몇 가지 핵심 '사고'패러다임과 이러한 문제를 해결하여 통찰력을 얻는 방법에 대해 설명합니다. 메타인지 또는 '사고에 대한 생각'이 풍부한 토론 주제 인 반면 (내가 생각하기에 AI의 노력에 중요하다고 생각하는) 여기서는 데이터 과학자에게 유용한 사고 패러다임에만 관심을 기울일 것입니다.

모델 사고

데이터 과학자로서 우리에게 가장 먼저 필요한 기술은 모델. 가장 추상적 인 형태에서 모델은 객체, 속성 또는 프로세스의 물리적, 수학적 또는 논리적 표현입니다. 무거운 짐을 들어 올릴 항공기 엔진을 만들고 싶다고 가정 해 보겠습니다. 완전한 항공기 엔진을 만들기 전에 다양한 조건 (예 : 역풍, 물체와의 충격)에서 다양한 속성 (예 : 연료 소비, 전력)에 대해 엔진을 테스트하는 미니어처 모델을 만들 수 있습니다. 미니어처 모델을 만들기 전에도 다른 재료로 만든 미니어처 모델이 어떻게 될지 예측할 수있는 3D 디지털 모델을 만들 수 있습니다.

각각의 경우에 두 개의 별개의 개체가있었습니다. 모델 그리고 대상 모델링되고있었습니다. 첫 번째 경우 소형 모델 엔진은 완전한 항공기 엔진의 모델이었습니다. 두 번째 경우 엔진의 디지털 모델은 소형 모델 엔진의 모델이었습니다. 디지털 모델 자체는 비행 물리학의 여러 측면 (예 : 추력)을 모델링해야했습니다. 따라서 모델이 항상 객체 일 필요는 없습니다. 또한 재산. 예를 들어, 중력 모델은 두 물체의 상대 질량과 질량 중심 사이의 거리를 고려합니다. 이 특별한 경우 모델은 방정식 또는 수학적 표현입니다. 미니어처 모델 엔진의 경우 모델은 실제 모델이었습니다.

모델은 또한 방법. 예를 들어, 소비자 구매 프로세스의 상당히 일반적인 모델은 인식, 고려, 구매 및 반복 구매로 시작됩니다. 여기서 모델은 단계별 프로세스의 논리적 표현입니다. 동일한 논리 표현을 방정식으로 표현하거나 코드로 프로그래밍 할 수 있습니다.

따라서 모델은 현실의 추상화이거나 연구 할 가치가있는 것입니다. 또한 우리가 세상을 설명하고 이해하는 방법이기도합니다. Berkshire Hathaway의 부회장 인 Charlie Munger는 이러한 사고 방식의 가장 큰 지지자 중 한 명입니다. [1]

“인간의 뇌가 모델에서 작동해야한다는 것은 부인할 수없는 사실이라고 생각합니다. 가장 기본적인 모델 인 단위당 가장 많은 작업을 수행하는 모델을 이해하기 때문에 다른 사람의 뇌보다 더 잘 작동하는 것이 비결입니다.” "읽고있는 내용을 시연되는 기본 아이디어의 기본 구조와 연관시키는 정신적 습관에 빠지면 점차적으로 지혜가 축적됩니다."

Charlie Munger는 비즈니스 세계에서 이러한 유형의 모델 사고의 가치를 충분히 입증했습니다. 이 기술은 투자에 중요 할뿐만 아니라 세상을 이해하는 더 좋은 방법이기도합니다. 이러한 유형의 모델 사고는 데이터 과학자와 AI 연구자에게도 필수적입니다. 우리는 종종 인간 의사 결정의 일부 측면 (예 : 예측, 최적화, 분류-자세한 내용은 [2] 참조)을 모델링하거나 프로세스 또는 현상 (예 : 비정상적인 동작)을 이해해야합니다. 종종 우리는 비즈니스, 과학 (물리, 화학, 생물학), 공학, 경제 또는 사회 과학과 같은 다양한 분야의 도메인 전문가로부터 세계를 이해하고, 통찰력을 얻고, 결정을 내리고, 또는 행동.

데이터 과학자가 이러한 분야의 정신 모델을 이해할 수 있다면이를 수학 공식, 논리적 표현 또는 코드로 모델링하는 것이 더 쉬워집니다. 사실, 정신적 모델에 관한 많은 책 [2-4]과 분류 된 말 그대로 수백 개의 정신적 모델이 있습니다. Mental Models [6] 사이트에는 경제와 전략, 인간의 본성과 판단, 시스템, 생물학적 또는 물리적 세계 등 339 가지 범주에 속하는 7 개의 모델이 나열되어 있습니다. Scott Page는 그의 기사에서 [XNUMX] 이유에 대해 설명합니다. 많은 모델의 사상가들이 더 나은 결정을 내립니다. 많은 모델을 생각하는 사람들이 더 나은 의사 결정자 일뿐만 아니라 수백 개의 정신 모델을 기반으로 한 모델의 앙상블을 생각하고 구축 할 수있는 데이터 과학자도 더 나은 데이터 과학자입니다. 기본적으로 모델 앙상블을 갖는 것은 인간과 기계에게 좋습니다!

그림 1 : 모델 사고 란 무엇입니까? (출처 : 저자 제작)

시스템 사고

비즈니스 및 기술 분야에서 XNUMX 년 동안 일하면서 제가 광범위하게 사용한 가장 유용하고 실용적이며 심오한 정신 모델은 다음과 같습니다. 시스템 사고. 그것은 더 큰 그림과 겉보기에 관련되지 않은 영역 간의 상호 관계를 보는 데 도움이되었습니다. 저는 데이터 과학자들이 시스템 사고에 대해 잘 이해하고 그것을 실행하는 것이 중요하다고 생각합니다. Peter Senge는 시스템 사고가 무엇인지 명쾌하게 요약합니다.

“시스템 사고는 복잡한 상황의 기초가되는 '구조'를보고 낮은 레버리지 변화에서 높은 것을 식별하기위한 학문입니다. 즉, 전체를 보면서 건강을 육성하는 방법을 배웁니다. 이를 위해 시스템 사고는 우리가 사고하는 방식을 재구성하는 것으로 시작하는 언어를 제공합니다.”

시스템 사고를 설명하는 많은 책 [10-12]과 Medium [8,9]에 대한 여러 블로그 시리즈가 있습니다. 제 작품에서 저는 Barry Richmond [12-13]와 John Sterman [11]의 작품에 가장 많은 영향을 받았습니다. 나는 그것이 무엇이며 데이터 과학자들에게 왜 관련이 있는지 설명하기 위해 그들의 작업을 활용할 것입니다.

우리의 전통적인 교육 커리큘럼은 분석적 사고를 강조합니다. 문제를 해결하고 구성 부분으로 나누고 이러한 부분에 대한 솔루션을 개발하고 함께 조립하는 능력입니다. 컨설턴트로서 귀하는 생각에있어 MECE (상호 배타적 및 집단적으로 철저 함)가되어야하며 가설을 명확하게 제시하고 문제를 해결할 수있는 MECE 옵션 세트를 개발해야합니다. 분석적 사고와 MECE 사고는 문제를 이해하는 데 특정한 역할을하지만, 우리는 종종 눈이 멀고 거의 의심하지 않습니다. 반면에 시스템 사고는 MECE 사고에 대한 완벽한 해독제입니다. 시스템 접근 방식이 수반하는 몇 가지 핵심 사고 패턴을 검토해 보겠습니다.

역동적 인 사고 — 시간이 지남에 따라 어떻게 진화하는지에 대한 문제의 틀을 강화하는 사고 패턴. 정적 사고는 특정 이벤트에 초점을 맞추고 동적 사고는 시간이 지남에 따라 물리적 또는 인간 시스템의 행동이 어떻게 변하는 지에 초점을 맞 춥니 다. 시간이 지남에 따라 입력이 어떻게 변할 수 있는지와 출력 동작에 미칠 영향을 생각하는 능력이 중요합니다.

데이터 과학자는 예측이나 추론을 위해 특정 시점에 단면 데이터 문제에 접근하는 경우가 많습니다. 불행히도 대부분의 문제와 관련하여 끊임없이 변화하는 컨텍스트를 고려할 때 정적으로 분석 할 수있는 것은 거의 없습니다. 정적 인 사고는 기껏해야 오해를 불러 일으키고 최악의 경우 재앙을 불러 일으키는 모델 구축에 대한 '일회성'접근 방식을 강화합니다. 기록 데이터에 대해 훈련 된 간단한 추천 엔진과 챗봇도 정기적으로 업데이트해야합니다. 강력한 데이터 과학 모델을 구축하려면 변화의 동적 특성을 이해하는 것이 필수적입니다.

원인으로서의 시스템 사고 — 우리 시스템의 경계 (즉, 광범위한 경계) 내에 포함 할 내용과 포함 할 세부 수준 (즉, 집중 경계)을 결정하는 사고 패턴. 광범위하고 집중적 인 경계는 우리가 시스템을 분석하는 상황과 의사 결정자가 통제하는 것과 통제를 벗어난 것에 따라 달라집니다.

데이터 과학자는 일반적으로 제공된 모든 데이터로 작업합니다. 좋은 출발점이기는하지만 모델이 어떻게 사용되는지와 의사 결정자가 제어하거나 영향을 미칠 수있는 것이 무엇인지에 대한 더 넓은 맥락을 이해해야합니다. 예를 들어, 로봇 조언 도구를 구축 할 때 거시 경제 지표, 자산 군 성과, 회사 투자 전략, 개별 위험 성향, 개인의 생애 단계, 투자자의 건강 상태 등 다양한 측면을 포함 할 수 있습니다. 포함 할 요소의 폭과 깊이는 개인 소비자, 고문, 자산 관리 고객 또는 정부의 정책 입안자를위한 도구를 구축하는지 여부에 따라 다릅니다. 다양한 요인에 대한 더 큰 그림과 이들이 사용자 및 사용자의 컨텍스트와 함께 서로 영향을 미치는 방식을 파악하면 대상 모델을 구축하고 적절하게 범위를 지정하는 데 도움이됩니다.

숲 사고 — 우리가 '더 큰 그림'을보고 필수적인 세부 사항을 잃지 않으면 서 필요한 경우 집계 할 수있는 사고 패턴. 종종 데이터 과학자들은 데이터의 개별 요소 (예 : 개별 고객 데이터)를 살펴보고 제기 된 문제를 해결하기 위해 필요한 데이터에 대한 더 큰 그림을 보지 못하면서 트리별로 생각하게됩니다. 나는 종종 이것이 '우리가 가지고있는 문제를 해결하기 위해 어떤 데이터를 수집해야할지'를 조사하기보다는 '사용 가능한 데이터를 사용하여 구축 할 수있는 최상의 모델을 구축'하는 것으로 해석되는 것을 보았다.

운영 적 사고 — 운영 프로세스 또는 시스템에서 행동이 어떻게 나타나는지에 대한 '인과성'에 초점을 맞춘 사고 패턴. 운영 적 사고의 반대는 앞서 언급 한 요소 사고 또는 목록 기반 사고 또는 MECE 사고입니다. 머신 러닝을 데이터 과학의 기본 또는 유일한 방법으로 의존하면 프로세스 나 인과 관계를 고려하지 않고 출력 변수를 예측하는 데 초점을 맞추는 요소를 쉽게 생각할 수 있습니다. 이는 여러 응용 분야에 적합 할 수 있지만 보편적으로 적용 할 수는 없습니다. 설명 가능한 AI에 대한 최근의 연구는 답변이 어떻게 도출되었는지에 대한 프로세스와 근거를 재현하려는 시도입니다.

폐쇄 루프 사고 — 특정 효과가 원인이되는 시스템에서 피드백 루프를 식별하려는 사고 패턴. 하나의 전진 방향으로 움직이는 지배적 인 '화살표로서의 시간'은 과학적 노력뿐만 아니라 비즈니스에서 우리의 사고를 제한 한 강력한 마인드입니다. 데이터 과학자들은 이러한 추세에 영향을받지 않았습니다. 시스템 역학 커뮤니티 및 인과 추론에서 광범위하게 사용되는 인과 루프 다이어그램 및 재고 흐름 다이어그램은 데이터 과학자가 직선적 사고에서 벗어날 수있는 도구 중 일부입니다.

이는 시스템 사고의 핵심 패턴 중 일부에 불과합니다. Barry Richmond [12,13]는 양적 사고, 과학적 사고, 비선형 적 사고및 10,000 미터 생각. 또한 그는 공부할 가치가있는 의사 소통 및 학습 원칙을 공유합니다.

저는 시스템 사고 방식이 몇 가지 주요 이유에서 특히 매력적이라고 ​​생각합니다. 첫째, 대안 적 사고 방식을 제공하고, 더 중요한 것은 서로 다른 부분을 연결하고 문제 해결에 대한 독특한 관점을 제공하는 사고 방식을 제공합니다. 둘째, 독특하고 정답을 주장하는 것과는 대조적으로 분석 할 여러 관점과 트레이드 오프를 제공하는 개방형입니다. 이것은 종종 깨지기 쉽고 설명 할 수없는 기계 결정과는 반대로 더 많은 정보에 입각 한 인간의 결정으로 이어집니다. 셋째, 의사 결정을 설명하고 전달하는 더 나은 방법을 제공합니다. 이어지는 기사에서는 이러한 이점을 설명하는 구체적인 예를 살펴 보겠습니다.

그림 2 : 시스템 사고 란 무엇입니까? (출처 : 제작자 제작)

에이전트 기반 사고

인터넷에서 에이전트 기반 사고를 검색하면 많이 찾지 못할 수도 있습니다. 대신에 에이전트 기반 모델링 (ABM). ABM은 향후 기사에서 살펴볼 이러한 유형의 사고를 구체적으로 실현 한 것이지만, 이러한 에이전트 기반 모델을 구축하기 전의 사고에 초점을 맞추고 싶습니다.

에이전트 기반 사고 — 우리가 더 단순한 (또는 원자 적) 개체 또는 개념에 초점을 맞추고 이러한 개체 간의 상대적으로 간단한 상호 작용이 새로운 시스템 동작을 초래할 수있는 방법에 초점을 맞춘 사고 패턴. 시스템 사고와 마찬가지로 우리는 시스템 수준의 행동에 관심이 있지만 하향식 관점에서 관계를 관찰하기보다는 상향식 관점에서 시스템 행동을 분석합니다. 사고는 개인 중심적입니다. 개인의 상태 (신체적 또는 정신적)가 무엇인지, 개인이 환경 및 다른 개인과 어떻게 상호 작용하며, 그것이 상태를 어떻게 변화시키는 지. 이러한 개인 중심 또는 에이전트 기반 사고는 물리적 자산 (예 : 온도 조절기가 에이전트로 간주 될 수 있음), 개별 소비자 (예 : 마케팅 컨텍스트에서 구매 결정을 내리는 개별 소비자 모델링), 기업 개체 (예 : 회사)에 적용될 수 있습니다. 자신의 이익을 위해 행동하여 시장을 효율적으로 만들거나, 심지어 국가 정부 (예 : 비교 우위를 기반으로 서로 거래하는 국가).

시스템 사고와 에이전트 기반 사고는 동일한 문제 세트에 적용될 수 있고 유사한 결과를 생성하지만 다른 사고 방식이나 정신 모델에서 접근합니다. 예를 들어, 잘 알려진 질병 진행의 역학 모델 인 SEIR (감수성, 노출, 감염성, 회복됨)은 시스템 관점이나 개별 관점에서 분석 할 수 있습니다. 감수성, 노출 등의 전체 인구를 살펴보면 시스템 수준에서 작업하고 있으며, 각 개인의 상태를 살펴보면 이미 감염되었는지, 질병으로부터 회복되었는지 등을 살펴볼 수 있습니다. 에이전트 기반 수준에서.

질병 진행의 총체적 행동에서 개별 행동으로 옮기고 자 할 때 에이전트 기반 사고는보다 자연스러운 사고 방식이됩니다. 예를 들어, 우리가 전체적인 감염 수준에 관심이있는 것이 아니라 어떤 개인이 특정 개인의 질병이나 행동 (예 : 사회적 거리두기 또는 마스크 착용)에 취약한 지 이해하고 질병 진행에 어떻게 기여할 수 있는지 이해하려는 경우 , 에이전트 기반 사고는보다 자연스러운 접근 방식입니다.

에이전트 기반 사고는 에이전트 기반 모델링 (에이전트 기반 시뮬레이션 또는 마이크로 시뮬레이션 시스템이라고도 함), 다중 에이전트 시스템 및 강화 학습의 기초입니다. 결과적으로 데이터 과학자는 개별 에이전트 관점에서 문제를 분석하는 데 익숙해야합니다. 개별 에이전트는 IoT 장치 또는 물리적 자산 (일반적으로 '디지털 트윈'이라고 함) 또는 다음과 같은 개별 의사 결정 엔티티 일 수 있습니다. 소비자, 기업 등

특정 유형의 상황에서 에이전트 기반 사고가 특히 매력적이라고 ​​생각합니다. 첫째, 개체 또는 에이전트 모음이 식별 가능하고 이질적 일 때 행동을 연구하는 직관적 인 방법을 제공합니다. 둘째, 엔티티 간의 상호 작용이 더 국지화되면 에이전트 기반 사고로 연구하는 것이 더 쉽습니다. 셋째, 개인 행동 (또는 개인 그룹의 행동)이 시스템 행동보다 더 중요 할 때 에이전트 기반 사고는 더 나은 접근 방식을 제공합니다. 넷째, 개별 엔티티가 다르게 적응하고 변경하면 시스템 수준이 아닌 개인에서 모델링하는 것이 좋습니다.

그림 3 : 에이전트 기반 사고 란 무엇입니까? (출처 : 저자 제작)

행동 (경제학) 사고

종종 행동 경제학이라고 불리는 인간의 본성과 판단 [6]에 관한 정신 모델의 수집은 컨설팅과 AI 여정 모두에 큰 영향을 미쳤습니다. 흥미롭게도 AI와 행동 경제학은 모두 공통 조상을 가지고 있습니다. 제한적 합리성에 대한 Herbert Simon의 개념은 '이상적인 합리적 의사 결정자로서의 인간'에 대한 일반적인 견해에 의문을 제기하고 대신 우리가 우리의 사고 능력, 이용 가능한 정보 및 시간에 제한을 받아 결정을 내린다고 주장했습니다 [14]. 이것은 15 년대 후반부터 우세한 행동 경제학 분야의 기초가되었습니다 [17–1900]. Simon은 또한 AI의 창시자 중 한 명으로 간주되며 휴리스틱 프로그램 개발 및 인간 문제 해결에 대한 그의 연구는 미래의 상징적 AI 시스템의 기반을 마련했습니다. 그의 말에서 [14],

제한된 합리성의 원리는 복잡한 문제를 공식화하고 해결하기위한 인간의 마음의 능력이 현실 세계에서 객관적으로 합리적 행동에 필요한 문제의 크기에 비해 매우 작습니다. 그러한 객관적인 합리성.

지난 수십 년 동안 행동 경제학은 인간이 의사 결정을 내리는 방법 [15], 결정을 내리는 기본 프로세스 [16], 이상적인 효용 극대화에서 벗어날 수있는 방법에 대해 학계 및 비즈니스 세계에서 큰 영향을 미쳤습니다. 경제적 관점, 그리고 그들 자신의 이익을 위해 특정 결정을 내리는 방법 [17].

행동 (경제) 사고 (또는 행동 적 사고 간단히 말해서)는 인간이 어떻게 정말 결정을 내리는 방법과 반대로 영 결정을 내리기 위해. 에이전트 기반 사고를 사용할 때 우리는 인간이 결정을 내리는 방식을 이해해야하는 경우가 많습니다 (예 : 구매할 상품, 투자 금액 등에 관한 결정). 고정, 불이행, 악 대차 효과, 손실 혐오, 쌍곡선 할인 및 기타 휴리스틱의 방대한 목록과 같은 행동 경제 원칙은 다양한 시나리오에서 결정을 내리는 방법을 설명하려고합니다.

데이터 과학자로서 저는 행동 적 사고가 두 가지 특정 방식으로 유용하다고 생각합니다. 첫째, 데이터 과학자가 구축 한 모델이 어떻게 사용되는지와 더 나은 채택에 필요한 설명을 이해할 수 있도록 인간이 결정을 내리는 방법을 이해하는 데 도움이됩니다. 둘째, 에이전트 내에서 인간의 의사 결정을 모델링하여 전반적인 행동을 시뮬레이션하거나 관찰하는 데 도움이됩니다. 이 두 번째 측면은 에이전트 기반 사고의 추가 전문화로 볼 수 있습니다.

그림 4 : 행동 적 사고 란 무엇입니까? (출처 : 저자 제작)

계산적 사고

컴퓨터 사고라는 용어는 18 년에 Seymour Papert [1980]에 의해 처음 소개되었습니다. 그러나 컴퓨터 과학 교육의 중요한 구성 요소로서 계산적 사고의 중요성은 훨씬 후에 Jeannette Wing [10]의 논문과 함께 나왔습니다. 계산적 사고의 기초는 알고리즘 사고, 과학, 엔지니어링 및 비즈니스의 모든 측면에 대한 계산적 접근 방식으로 지난 세기 후반에 걸쳐 성숙해졌습니다.

계산적 사고 컴퓨터로 코딩하고 실행할 수있는 구조화 된 문제 해결, 문제 분해, 패턴 인식, 일반화 및 추상화를 강조하는 사고 패턴입니다. 계산적 사고는 산업 혁명, 즉 컴퓨팅 혁명, 인터넷 및 스마트 폰 혁명, 그리고 이제는 빅 데이터, 분석 및 AI 혁명을 뒤따른 연속적인 혁명에 깊은 영향을 미쳤습니다.

이전에 논의한 모든 사고 패턴은 인간과 기계 모두를 이해하는 데 적용될 수 있지만, 컴퓨팅 사고는 지능형 시스템을 만드는 데있어 핵심입니다. 또는 컴퓨팅 사고를 다른 유형의 사고를 인코딩하고 실현하는 메커니즘으로 볼 수도 있습니다. 따라서 데이터 과학자로서 우리는 종종 계산적으로 생각하고 우리가 제공하는 지침에 정확해야합니다.

그림 5 : 계산적 사고 란 무엇입니까? (출처 : 저자 제작)

참고자료

[1] 트렌트 그리핀. 찰리 멍거에게 정신 모델과 세상 지혜에 대해 배운 XNUMX 가지. 8 월 22, 2015.

[2] 아난드 라오. 인간 중심 AI를 활용하는 XNUMX 가지 인간 능력과 XNUMX 가지 유형의 지능. Medium — 시작, 10 년 2020 월 XNUMX 일.

[3] Shane Parrish와 Rhiannon Beaubien. 위대한 정신 모델 제 1 권 : 일반적인 사고 개념. Latticework Publishing Inc. 2019 년.

[4] Shane Parrish와 Rhiannon Beaubien. 위대한 정신 모델 제 2 권 : 물리학, 화학 및 생물학. Latticework Publishing Inc. 2020.

[5] Gabriel Weinberg와 Lauren McCann. 슈퍼 사고 : 정신 모델의 큰 책. 포트폴리오, 2019.

[6] 멘탈 모델로 세상 이해하기 : 머릿속에 들고 다니는 339 개의 모델.

[7] 스콧 E 페이지. “다양한 모델 사상가”가 더 나은 결정을 내리는 이유, Harvard Business Review, 19 년 2018 월 XNUMX 일.

Leyla Acaroglu. 시스템 사고를위한 도구 : 시스템 사고의 XNUMX 가지 기본 개념. 중간 — 파괴적인 디자인. 7 년 2017 월 XNUMX 일.

[9] 앤드류 헤닝. 시스템 사고 1 부 — 요소, 상호 연결 및 목표. 중간 — 더 나은 시스템. 8 월 1, 2018.

Donella Meadows. 시스템에서의 사고 : 입문서. 첼시 그린 퍼블리싱. 2008.

[11] 존 스터먼. 비즈니스 역학 : 복잡한 세상을위한 시스템 사고 및 모델링. McGraw-Hill 교육. 2000.

배리 리치몬드. 스텔라로 생각하는 시스템에 대한 소개. ISEE 시스템, 2004.

배리 리치몬드. 시스템 사고의 "사고". 어떻게 더 쉽게 마스터 할 수 있습니까?. 시스템 사상가.

허버트 사이먼. 제한된 합리성의 모델 14 권 : 경제 분석 및 공공 정책. MIT Press. 1.

[15] Dan Ariely. 예측할 수 없을 정도로 비합리적인 개정판 및 확장판 : 우리의 결정을 형성하는 숨겨진 힘. 하퍼 콜린스, 2009.

[16] Daniel Kahneman. 빠르고 느린 생각. Farrar, Straus 및 Giroux, 2013.

Richard Thaler와 Cass Sunstein. 넛지 : 건강, 부, 행복에 대한 결정 개선 펭귄 북스, 17.

Seymour Papert. Mindstorms : 어린이, 컴퓨터 및 강력한 아이디어. 기본 도서, Inc., 18.

[19] Jeannette Wing. 계산적 사고. ACM 49 (3) : 33-35의 커뮤니케이션. 2006.

실물. 허가를 받아 다시 게시했습니다.

관련 :

• 데이터 과학자가되기 위해 가장 권장되는 7 가지 기술
• 아무도 말하지 않는 필수 데이터 과학 기술
• 데이터를 사용하여 답변 할 올바른 질문을 구성하는 방법