Lịch Sử Công Nghệ Xử Lý Dữ Liệu

Dữ Liệu Lớn.

Lịch sử của công nghệ xử lý dữ liệu

3 Tháng Sáu, 2022

Các thiết bị đã từng chỉ được đánh giá cao vì chức năng trực tiếp của chúng. Chúng tôi đã mơ ước, phát minh và hưởng lợi. Chúng tôi tiếp tục phát triển ý tưởng của mình khi thời gian trôi qua. Chúng tôi đã bỏ túi nhiều khả năng xử lý hơn các tàu vũ trụ thời kỳ đầu và đã thành công trong việc kết nối toàn thế giới vào thời điểm này. Dữ liệu lấy từ thế giới kỹ thuật số mà chúng tôi tạo ra này và nó cung cấp những bí mật có giá trị về thế giới thực khi được tìm tòi với các công cụ phù hợp. Đây là công nghệ xử lý dữ liệu lịch sử.

Mục lục

Xử lý dữ liệu thủ công

Thuật ngữ “xử lý dữ liệu” lần đầu tiên được sử dụng vào những năm 1950, mặc dù các chức năng xử lý dữ liệu đã được thực hiện thủ công trong nhiều thiên niên kỷ. Ví dụ, ghi sổ kế toán bao gồm các hoạt động như ghi lại các giao dịch và tạo các báo cáo như bảng cân đối kế toán và báo cáo lưu chuyển tiền tệ. Máy tính cơ học hoặc điện tử đã giúp đẩy nhanh các thủ tục hoàn toàn thủ công.

Lịch sử công nghệ xử lý dữ liệu — **Lịch sử của công nghệ xử lý dữ liệu:** *Trong những ngày đầu tiên, các nhà khoa học máy tính đã phải tạo ra các chương trình độc đáo để xử lý dữ liệu trên thẻ đục lỗ*

Đục lỗ thẻ

Máy tính đã cách mạng hóa thế giới kinh doanh theo nhiều cách, dẫn đến nhu cầu xử lý dữ liệu rõ ràng. Trong những ngày đầu tiên, các nhà khoa học máy tính phải tạo ra các chương trình độc đáo để xử lý dữ liệu trên thẻ đục lỗ.

Sự phát triển của các ngôn ngữ lập trình đã được định nghĩa dựa trên sự phát triển của kiến trúc phần cứng. Những ngôn ngữ đầu tiên là hợp ngữ, sau đó là các ngôn ngữ lập trình có mục đích hơn như Fortran, C và Java. Trong thời tiền sử dữ liệu lớn thời đại, các lập trình viên sẽ sử dụng các ngôn ngữ này để xây dựng các chương trình được xây dựng có mục đích cho các hoạt động xử lý dữ liệu cụ thể.

Tuy nhiên, nền tảng máy tính bị hạn chế ở một số ít người có nền tảng lập trình được chọn, ngăn cản sự chấp nhận rộng rãi hơn của các nhà phân tích dữ liệu hoặc cộng đồng doanh nghiệp rộng lớn hơn, những người muốn xử lý thông tin và đưa ra các quyết định nhất định.

Sự phát triển của cơ sở dữ liệu vào khoảng những năm 1970 là bước hợp lý tiếp theo. Các hệ thống cơ sở dữ liệu quan hệ truyền thống, chẳng hạn như DB2 của IBM từ năm 1977 trở đi, cho phép SQL và mở rộng xử lý dữ liệu trên nhiều đối tượng hơn.

SQL

SQL là một ngôn ngữ truy vấn mô tả và được tiêu chuẩn hóa, đọc hơi giống tiếng Anh. Do đó, nhiều cá nhân hơn có thể truy cập vào quá trình xử lý dữ liệu, có nghĩa là họ không phải thuê những người viết mã đắt tiền để viết các chương trình theo từng trường hợp tùy chỉnh và phân tích dữ liệu. SQL cũng mở rộng phạm vi của các công cụ xử lý dữ liệu, thêm nhiều ứng dụng khác nhau có liên quan đến xử lý dữ liệu, chẳng hạn như các ứng dụng kinh doanh, tỷ lệ churn phân tích, biến động quy mô giỏ hàng trung bình, tốc độ tăng trưởng hàng năm, v.v.

Dữ Liệu Lớn.

Kỷ nguyên của Dữ liệu lớn bắt đầu với Bài báo MapReduce của Google, mô tả một mô hình cơ bản bao gồm hai nguyên thủy: ánh xạ và thu gọn. Mô hình MapReduce cho phép tính toán song song trên một số lượng lớn các máy tính khác nhau. Tính toán song song từ lâu đã có thể thực hiện được thông qua nhiều máy tính, siêu máy tính và hệ thống MPI. Tuy nhiên, sự ra đời của MapReduce đã làm cho nó có sẵn cho nhiều đối tượng hơn.

Khung Apache Hadoop ban đầu được tạo ra tại Yahoo! và được tạo thành mã nguồn mở. Hadoop đã được nhiều tổ chức khác nhau chấp nhận và nhiều công ty Dữ liệu lớn bắt đầu với tư cách là nhà phát triển Hadoop. Hadoop đã giới thiệu một mô hình mới để xử lý dữ liệu: khả năng lưu thông tin trong hệ thống tệp phân tán hoặc bộ lưu trữ (chẳng hạn như HDFS cho Hadoop) có thể được kiểm tra / truy vấn sau này.

Bước đầu tiên trong con đường Hadoop là lập trình tùy chỉnh bởi một “dàn” nhất định những người có thể xây dựng chương trình để thực hiện các truy vấn SQL trên dữ liệu được lưu trữ trong hệ thống tệp phân tán, chẳng hạn như Hive hoặc các nền tảng lưu trữ khác.

Sự phát triển của Dữ liệu lớn đã được đẩy nhanh với sự ra đời của Apache Spark. Spark làm cho nó có thể song song hóa các phép tính và đưa quá trình xử lý hàng loạt lên một tầm cao mới. Xử lý hàng loạt, như đã nói trước đây, là quá trình đưa dữ liệu vào hệ thống lưu trữ trước khi thực hiện các phép tính trên đó. Khái niệm cơ bản là dữ liệu của bạn được lưu trữ ở đâu đó trong khi bạn thực hiện tính toán để có được thông tin chi tiết dựa trên thông tin trong quá khứ thường xuyên (hàng ngày, hàng tuần hoặc hàng giờ). Các phép tính này không phải lúc nào cũng hoạt động và cần có ngày bắt đầu và ngày kết thúc. Do đó, bạn phải chạy lại chúng thường xuyên để có kết quả hiện tại.

Xử lý luồng

Sự ra đời của xử lý luồng là một bước quan trọng để đạt được các mục tiêu về Dữ liệu lớn. Công nghệ này cho phép phát triển các ứng dụng có thể chạy vô thời hạn.

Sản phẩm dòng dữ liệu xử lý đã cách mạng hóa ngành bảo vệ dữ liệu bằng cách chuyển từ tâm lý phản hồi yêu cầu, nơi dữ liệu được lưu giữ trước khi điều tra trường hợp gian lận, sang một nơi bạn đặt câu hỏi trước và sau đó nhận dữ liệu thời gian thực khi nó xảy ra.

Xử lý luồng cho phép bạn xây dựng một hệ thống phát hiện gian lận hoạt động 24/7. Nó nắm bắt các sự kiện trong thời gian thực và cung cấp thông tin chi tiết về thời điểm gian lận thẻ tín dụng đang được thực hiện, ngăn chặn nó xảy ra. Đây có lẽ là một trong những thay đổi quan trọng nhất trong quá trình xử lý dữ liệu vì nó cho phép có được những hiểu biết sâu sắc trong thời gian thực về những gì đang diễn ra trên thế giới.

Sự phát triển của mã nguồn mở xử lý dữ liệu tuân theo một mô hình điển hình: một khuôn khổ mới được giới thiệu ra thị trường (ví dụ: cơ sở dữ liệu quan hệ, xử lý hàng loạt hoặc xử lý luồng) mà ban đầu chỉ một số người nhất định (lập trình viên) mới có thể truy cập được. Việc đưa SQL vào khuôn khổ làm cho nó dễ tiếp cận hơn với một lượng lớn đối tượng không yêu cầu lập trình để xử lý dữ liệu phức tạp.