Với việc sử dụng điện toán đám mây, các công cụ dữ liệu lớn và máy học (ML) như amazon Athena or Amazon SageMaker đã trở nên sẵn có và có thể sử dụng được bởi bất kỳ ai mà không cần nỗ lực nhiều trong việc tạo ra và bảo trì. Các công ty công nghiệp ngày càng chú ý đến phân tích dữ liệu và ra quyết định dựa trên dữ liệu để tăng hiệu quả sử dụng tài nguyên trên toàn bộ danh mục đầu tư của họ, từ vận hành đến thực hiện bảo trì hoặc lập kế hoạch dự đoán.

Do tốc độ thay đổi của CNTT, khách hàng trong các ngành công nghiệp truyền thống đang phải đối mặt với tình thế tiến thoái lưỡng nan về bộ kỹ năng. Một mặt, các nhà phân tích và chuyên gia lĩnh vực có kiến ​​thức rất sâu về dữ liệu được đề cập và cách giải thích dữ liệu đó, nhưng thường thiếu khả năng tiếp xúc với công cụ khoa học dữ liệu và các ngôn ngữ lập trình cấp cao như Python. Mặt khác, các chuyên gia khoa học dữ liệu thường thiếu kinh nghiệm để diễn giải nội dung dữ liệu máy và lọc nội dung có liên quan. Vấn đề nan giải này cản trở việc tạo ra các mô hình hiệu quả sử dụng dữ liệu để tạo ra những hiểu biết sâu sắc liên quan đến doanh nghiệp.

Canvas SageMaker của Amazon giải quyết vấn đề nan giải này bằng cách cung cấp cho các chuyên gia miền một giao diện không cần mã để tạo ra các mô hình ML và phân tích mạnh mẽ, chẳng hạn như các mô hình dự báo, phân loại hoặc hồi quy. Nó cũng cho phép bạn triển khai và chia sẻ các mô hình này với các chuyên gia ML và MLOps sau khi tạo.

Trong bài đăng này, chúng tôi sẽ hướng dẫn bạn cách sử dụng SageMaker Canvas để quản lý và chọn các tính năng phù hợp trong dữ liệu của bạn, sau đó huấn luyện mô hình dự đoán để phát hiện điểm bất thường bằng cách sử dụng chức năng không cần mã của SageMaker Canvas để điều chỉnh mô hình.

Phát hiện bất thường cho ngành sản xuất

Tại thời điểm viết bài, SageMaker Canvas tập trung vào các trường hợp sử dụng kinh doanh điển hình, chẳng hạn như dự báo, hồi quy và phân loại. Đối với bài đăng này, chúng tôi trình bày cách các khả năng này cũng có thể giúp phát hiện các điểm dữ liệu bất thường phức tạp. Ví dụ, trường hợp sử dụng này có liên quan để xác định các trục trặc hoặc hoạt động bất thường của máy móc công nghiệp.

Việc phát hiện sự bất thường rất quan trọng trong lĩnh vực công nghiệp, bởi vì máy móc (từ tàu hỏa đến tua-bin) thường rất đáng tin cậy, với thời gian giữa các lần hỏng hóc kéo dài hàng năm. Hầu hết dữ liệu từ các máy này, chẳng hạn như thông số cảm biến nhiệt độ hoặc thông báo trạng thái, mô tả hoạt động bình thường và có giá trị giới hạn cho việc ra quyết định. Các kỹ sư tìm kiếm dữ liệu bất thường khi điều tra nguyên nhân cốt lõi của lỗi hoặc làm chỉ báo cảnh báo cho các lỗi trong tương lai và người quản lý hiệu suất kiểm tra dữ liệu bất thường để xác định các cải tiến tiềm năng. Do đó, bước đầu tiên điển hình trong việc hướng tới việc ra quyết định dựa trên dữ liệu phụ thuộc vào việc tìm kiếm dữ liệu có liên quan (bất thường) đó.

Trong bài đăng này, chúng tôi sử dụng SageMaker Canvas để sắp xếp và chọn các tính năng phù hợp trong dữ liệu, sau đó huấn luyện mô hình dự đoán để phát hiện điểm bất thường, sử dụng chức năng không cần mã của SageMaker Canvas để điều chỉnh mô hình. Sau đó, chúng tôi triển khai mô hình dưới dạng điểm cuối SageMaker.

Tổng quan về giải pháp

Đối với trường hợp sử dụng phát hiện bất thường của chúng tôi, chúng tôi đào tạo mô hình dự đoán để dự đoán một tính năng đặc trưng cho hoạt động bình thường của máy, chẳng hạn như nhiệt độ động cơ được chỉ ra trong ô tô, từ các tính năng ảnh hưởng, chẳng hạn như tốc độ và mô-men xoắn gần đây áp dụng trong ô tô . Để phát hiện sự bất thường trên một mẫu đo lường mới, chúng tôi so sánh các dự đoán của mô hình về đặc điểm đặc trưng với các quan sát được cung cấp.

Đối với ví dụ về động cơ ô tô, một chuyên gia trong lĩnh vực sẽ thu được các phép đo về nhiệt độ bình thường của động cơ, mô-men xoắn gần đây của động cơ, nhiệt độ môi trường và các yếu tố ảnh hưởng tiềm ẩn khác. Điều này cho phép bạn huấn luyện mô hình để dự đoán nhiệt độ từ các tính năng khác. Sau đó chúng ta có thể sử dụng mô hình này để dự đoán nhiệt độ động cơ một cách thường xuyên. Khi nhiệt độ dự đoán cho dữ liệu đó giống với nhiệt độ quan sát được trong dữ liệu đó thì động cơ đang hoạt động bình thường; sự khác biệt sẽ dẫn đến sự bất thường, chẳng hạn như hệ thống làm mát bị lỗi hoặc động cơ bị lỗi.

Sơ đồ sau minh họa kiến ​​trúc giải pháp.

Giải pháp bao gồm bốn bước chính:

1. Chuyên gia miền tạo mô hình ban đầu, bao gồm phân tích dữ liệu và tuyển chọn tính năng bằng SageMaker Canvas.
2. Chuyên gia miền chia sẻ mô hình thông qua Cơ quan đăng ký mô hình Amazon SageMaker hoặc triển khai nó trực tiếp như một điểm cuối thời gian thực.
3. Chuyên gia MLOps tạo cơ sở hạ tầng suy luận và mã dịch kết quả đầu ra của mô hình từ dự đoán thành chỉ báo bất thường. Mã này thường chạy bên trong một AWS Lambda chức năng.
4. Khi một ứng dụng yêu cầu phát hiện điểm bất thường, ứng dụng đó sẽ gọi hàm Lambda. Hàm này sử dụng mô hình để suy luận và đưa ra phản hồi (cho dù đó có phải là điểm bất thường hay không).

Điều kiện tiên quyết

Để theo dõi bài đăng này, bạn phải đáp ứng các điều kiện tiên quyết sau:

Tạo mô hình bằng SageMaker

Quá trình tạo mô hình tuân theo các bước tiêu chuẩn để tạo mô hình hồi quy trong SageMaker Canvas. Để biết thêm thông tin, hãy tham khảo Bắt đầu sử dụng Amazon SageMaker Canvas.

Đầu tiên, chuyên gia miền tải dữ liệu liên quan vào SageMaker Canvas, chẳng hạn như chuỗi thời gian đo lường. Đối với bài đăng này, chúng tôi sử dụng tệp CSV chứa các phép đo (được tạo tổng hợp) của động cơ điện. Để biết chi tiết, hãy tham khảo Nhập dữ liệu vào Canvas. Dữ liệu mẫu được sử dụng có sẵn để tải xuống dưới dạng CSV.

Quản lý dữ liệu bằng SageMaker Canvas

Sau khi dữ liệu được tải, chuyên gia miền có thể sử dụng SageMaker Canvas để quản lý dữ liệu được sử dụng trong mô hình cuối cùng. Để làm điều này, chuyên gia chọn những cột chứa các phép đo đặc trưng cho vấn đề được đề cập. Chính xác hơn, chuyên gia chọn các cột có liên quan với nhau, chẳng hạn như bằng mối quan hệ vật lý, chẳng hạn như đường cong áp suất-nhiệt độ và khi sự thay đổi trong mối quan hệ đó là sự bất thường có liên quan đến trường hợp sử dụng của chúng. Mô hình phát hiện bất thường sẽ tìm hiểu mối quan hệ bình thường giữa các cột đã chọn và cho biết khi nào dữ liệu không tuân thủ, chẳng hạn như nhiệt độ động cơ cao bất thường khi tải hiện tại trên động cơ.

Trong thực tế, chuyên gia miền cần chọn một tập hợp các cột đầu vào và cột mục tiêu phù hợp. Đầu vào thường là tập hợp các đại lượng (số hoặc phân loại) xác định hoạt động của máy, từ cài đặt nhu cầu, đến tải, tốc độ hoặc nhiệt độ môi trường. Đầu ra thường là một đại lượng số cho biết hiệu suất hoạt động của máy, chẳng hạn như nhiệt độ đo mức tiêu tán năng lượng hoặc một chỉ số hiệu suất khác thay đổi khi máy chạy trong điều kiện dưới mức tối ưu.

Để minh họa khái niệm về số lượng cần chọn cho đầu vào và đầu ra, hãy xem xét một vài ví dụ:

• Đối với thiết bị quay, chẳng hạn như mô hình mà chúng tôi xây dựng trong bài viết này, đầu vào điển hình là tốc độ quay, mô-men xoắn (dòng điện và lịch sử) và nhiệt độ môi trường xung quanh, còn mục tiêu là nhiệt độ ổ trục hoặc động cơ cho biết điều kiện vận hành tốt của vòng quay
• Đối với tuabin gió, đầu vào điển hình là lịch sử hiện tại và gần đây của tốc độ gió và cài đặt cánh quạt, còn đại lượng mục tiêu là công suất được tạo ra hoặc tốc độ quay.
• Đối với một quy trình hóa học, đầu vào điển hình là tỷ lệ phần trăm của các thành phần khác nhau và nhiệt độ môi trường, còn mục tiêu là nhiệt sinh ra hoặc độ nhớt của sản phẩm cuối cùng
• Đối với thiết bị chuyển động như cửa trượt, đầu vào điển hình là nguồn điện đầu vào cho động cơ và giá trị mục tiêu là tốc độ hoặc thời gian hoàn thành chuyển động
• Đối với hệ thống HVAC, đầu vào điển hình là chênh lệch nhiệt độ đạt được và cài đặt tải, còn đại lượng mục tiêu là mức tiêu thụ năng lượng đo được

Cuối cùng, đầu vào và mục tiêu phù hợp cho một thiết bị nhất định sẽ tùy thuộc vào trường hợp sử dụng và hành vi bất thường cần phát hiện và được biết rõ nhất bởi một chuyên gia miền quen thuộc với sự phức tạp của tập dữ liệu cụ thể.

Trong hầu hết các trường hợp, việc chọn số lượng đầu vào và mục tiêu phù hợp có nghĩa là chỉ chọn đúng cột và đánh dấu cột mục tiêu (đối với ví dụ này, bearing_temperature). Tuy nhiên, chuyên gia miền cũng có thể sử dụng các tính năng không cần mã của SageMaker Canvas để chuyển đổi các cột và tinh chỉnh hoặc tổng hợp dữ liệu. Ví dụ: bạn có thể trích xuất hoặc lọc ngày hoặc dấu thời gian cụ thể từ dữ liệu không liên quan. SageMaker Canvas hỗ trợ quy trình này, hiển thị số liệu thống kê về số lượng đã chọn, cho phép bạn hiểu liệu số lượng có ngoại lệ và mức chênh lệch có thể ảnh hưởng đến kết quả của mô hình hay không.

Đào tạo, điều chỉnh và đánh giá mô hình

Sau khi chuyên gia miền đã chọn các cột phù hợp trong tập dữ liệu, họ có thể huấn luyện mô hình để tìm hiểu mối quan hệ giữa đầu vào và đầu ra. Chính xác hơn, mô hình sẽ học cách dự đoán giá trị mục tiêu được chọn từ đầu vào.

Thông thường, bạn có thể sử dụng SageMaker Canvas Xem trước mô hình lựa chọn. Điều này cung cấp chỉ báo nhanh về chất lượng mong đợi của mô hình và cho phép bạn điều tra tác động của các đầu vào khác nhau đối với chỉ số đầu ra. Ví dụ: trong ảnh chụp màn hình sau, mô hình bị ảnh hưởng nhiều nhất bởi motor_speed và ambient_temperature số liệu khi dự đoán bearing_temperature. Điều này là hợp lý vì những nhiệt độ này có liên quan chặt chẽ với nhau. Đồng thời, ma sát bổ sung hoặc các phương tiện tiêu hao năng lượng khác có thể ảnh hưởng đến điều này.

Đối với chất lượng mô hình, RMSE của mô hình là một chỉ báo về mức độ mô hình có thể học hành vi bình thường trong dữ liệu huấn luyện và tái tạo mối quan hệ giữa các thước đo đầu vào và đầu ra. Ví dụ: trong mô hình sau, mô hình sẽ có thể dự đoán chính xác motor_bearing nhiệt độ trong khoảng 3.67 độ C, vì vậy chúng ta có thể coi độ lệch của nhiệt độ thực so với dự đoán mô hình lớn hơn, chẳng hạn như 7.4 độ, là một sự bất thường. Tuy nhiên, ngưỡng thực tế mà bạn sẽ sử dụng sẽ phụ thuộc vào độ nhạy cần thiết trong kịch bản triển khai.

Cuối cùng, sau khi quá trình đánh giá và điều chỉnh mô hình kết thúc, bạn có thể bắt đầu quá trình đào tạo mô hình hoàn chỉnh để tạo mô hình để sử dụng cho việc suy luận.

Triển khai mô hình

Mặc dù SageMaker Canvas có thể sử dụng mô hình để suy luận nhưng việc triển khai hiệu quả để phát hiện điểm bất thường đòi hỏi bạn phải triển khai mô hình bên ngoài SageMaker Canvas. Chính xác hơn, chúng ta cần triển khai mô hình như một điểm cuối.

Trong bài đăng này và để đơn giản, chúng tôi triển khai mô hình này dưới dạng điểm cuối trực tiếp từ SageMaker Canvas. Để biết hướng dẫn, hãy tham khảo Triển khai mô hình của bạn đến điểm cuối. Hãy nhớ ghi lại tên triển khai và cân nhắc mức giá của loại phiên bản mà bạn triển khai (đối với bài đăng này, chúng tôi sử dụng ml.m5.large). Sau đó, SageMaker Canvas sẽ tạo điểm cuối mô hình có thể được gọi để nhận dự đoán.

Trong môi trường công nghiệp, một mô hình cần phải trải qua quá trình thử nghiệm kỹ lưỡng trước khi có thể triển khai. Đối với điều này, chuyên gia miền sẽ không triển khai nó mà thay vào đó chia sẻ mô hình với Cơ quan đăng ký mô hình SageMaker. Ở đây, một chuyên gia vận hành MLOps có thể đảm nhận công việc này. Thông thường, chuyên gia đó sẽ kiểm tra điểm cuối của mô hình, đánh giá quy mô của thiết bị điện toán cần thiết cho ứng dụng mục tiêu và xác định cách triển khai hiệu quả nhất về mặt chi phí, chẳng hạn như triển khai cho suy luận serverless hoặc suy luận hàng loạt. Các bước này thường được tự động hóa (ví dụ: sử dụng Quy trình sản xuất Amazon Sagemaker hoặc là SDK của Amazon).

Sử dụng mô hình để phát hiện sự bất thường

Ở bước trước, chúng tôi đã tạo triển khai mô hình trong SageMaker Canvas, được gọi là canvas-sample-anomaly-model. Chúng ta có thể sử dụng nó để có được dự đoán về một bearing_temperature giá trị dựa trên các cột khác trong tập dữ liệu. Bây giờ, chúng tôi muốn sử dụng điểm cuối này để phát hiện những điểm bất thường.

Để xác định dữ liệu bất thường, mô hình của chúng tôi sẽ sử dụng điểm cuối của mô hình dự đoán để nhận giá trị mong đợi của chỉ số mục tiêu, sau đó so sánh giá trị dự đoán với giá trị thực tế trong dữ liệu. Giá trị dự đoán cho biết giá trị dự kiến ​​cho số liệu mục tiêu của chúng tôi dựa trên dữ liệu huấn luyện. Do đó, sự khác biệt của giá trị này là thước đo cho sự bất thường của dữ liệu thực tế được quan sát. Chúng ta có thể sử dụng đoạn mã sau:

# We are using pandas dataframes for data handling
import pandas as pd 
import boto3,json
sm_runtime_client = boto3.client('sagemaker-runtime')

# Configuration of the actual model invocation
endpoint_name="canvas-sample-anomaly-model"
# Name of the column in the input data to compare with predictions
TARGET_COL='bearing_temperature' 

def do_inference(data, endpoint_name):
    # Example Code provided by Sagemaker Canvas
    body = data.to_csv(header=False, index=True).encode("utf-8")
    response = sm_runtime_client.invoke_endpoint(Body = body,
                              EndpointName = endpoint_name,
                              ContentType = "text/csv",
                              Accept = "application/json",
                              )
    return json.loads(response["Body"].read())


def input_transformer(input_data, drop_cols = [ TARGET_COL ] ):
    # Transform the input: Drop the Target column
    return input_data.drop(drop_cols,axis =1 )

def output_transformer(input_data,response):
    # Take the initial input data and compare it to the response of the prediction model
    scored = input_data.copy()
    scored.loc[ input_data.index,'prediction_'+TARGET_COL ] = pd.DataFrame(
response[ 'predictions' ],
index = input_data.index 
)['score']
    scored.loc[ input_data.index,'error' ] = (
scored[ TARGET_COL ]-scored[ 'prediction_'+TARGET_COL ]
).abs()
    return scored

# Run the inference
raw_input = pd.read_csv(MYFILE) # Read my data for inference
to_score = input_transformer(raw_input) # Prepare the data
predictions = do_inference(to_score, endpoint_name) # create predictions
results = output_transformer(to_score,predictions) # compare predictions & actuals

Mã trước thực hiện các hành động sau:

1. Dữ liệu đầu vào được lọc theo đúng tính năng (chức năng “input_transformer").
2. Điểm cuối của mô hình SageMaker được gọi với dữ liệu đã lọc (chức năng “do_inference“), trong đó chúng tôi xử lý định dạng đầu vào và đầu ra theo mã mẫu được cung cấp khi mở trang chi tiết về hoạt động triển khai của chúng tôi trong SageMaker Canvas.
3. Kết quả của lệnh gọi được nối với dữ liệu đầu vào ban đầu và phần chênh lệch được lưu trong cột lỗi (hàm “output_transform").

Tìm sự bất thường và đánh giá các sự kiện bất thường

Trong thiết lập thông thường, mã để thu được các điểm bất thường sẽ được chạy trong hàm Lambda. Hàm Lambda có thể được gọi từ một ứng dụng hoặc Cổng API Amazon. Hàm chính trả về điểm bất thường cho mỗi hàng của dữ liệu đầu vào—trong trường hợp này là chuỗi thời gian của điểm bất thường.

Để thử nghiệm, chúng tôi cũng có thể chạy mã trong sổ ghi chép SageMaker. Các biểu đồ sau đây hiển thị đầu vào và đầu ra của mô hình của chúng tôi khi sử dụng dữ liệu mẫu. Đỉnh điểm về độ lệch giữa giá trị dự đoán và giá trị thực tế (điểm bất thường, được hiển thị ở biểu đồ phía dưới) biểu thị sự bất thường. Ví dụ: trong biểu đồ, chúng ta có thể thấy ba đỉnh riêng biệt trong đó điểm bất thường (chênh lệch giữa nhiệt độ dự kiến ​​​​và nhiệt độ thực) vượt quá 7 độ C: đỉnh đầu tiên sau một thời gian dài không hoạt động, đỉnh thứ hai ở mức giảm mạnh bearing_temperature, và nơi cuối cùng bearing_temperature cao so với motor_speed.

Trong nhiều trường hợp, chỉ cần biết chuỗi thời gian của điểm bất thường là đủ; bạn có thể thiết lập ngưỡng về thời điểm cảnh báo về sự bất thường đáng kể dựa trên nhu cầu về độ nhạy của mô hình. Điểm hiện tại khi đó cho biết máy có trạng thái bất thường cần được điều tra. Ví dụ: đối với mô hình của chúng tôi, giá trị tuyệt đối của điểm bất thường được phân phối như hiển thị trong biểu đồ sau. Điều này xác nhận rằng hầu hết các điểm bất thường đều nằm dưới (2xRMS=)8 độ được tìm thấy trong quá trình đào tạo mô hình như một lỗi điển hình. Biểu đồ có thể giúp bạn chọn ngưỡng theo cách thủ công, sao cho tỷ lệ phần trăm phù hợp của các mẫu được đánh giá được đánh dấu là bất thường.

Nếu đầu ra mong muốn là các sự kiện bất thường thì điểm bất thường do mô hình cung cấp cần được sàng lọc để phù hợp với mục đích sử dụng trong kinh doanh. Đối với điều này, chuyên gia ML thường sẽ thêm quá trình xử lý hậu kỳ để loại bỏ nhiễu hoặc các đỉnh lớn trên điểm bất thường, chẳng hạn như thêm giá trị trung bình cuộn. Ngoài ra, chuyên gia thường sẽ đánh giá điểm bất thường bằng logic tương tự như việc đưa ra một mức điểm bất thường. amazoncloudwatch báo động, chẳng hạn như giám sát việc vi phạm ngưỡng trong một khoảng thời gian cụ thể. Để biết thêm thông tin về cách thiết lập báo thức, hãy tham khảo Sử dụng cảnh báo Amazon CloudWatch. Việc chạy những đánh giá này trong hàm Lambda cho phép bạn gửi cảnh báo, chẳng hạn như bằng cách xuất bản cảnh báo tới một Dịch vụ thông báo đơn giản của Amazon (Amazon SNS) chủ đề.

Làm sạch

Sau khi sử dụng xong giải pháp này bạn nên dọn dẹp để tránh phát sinh chi phí không đáng có:

1. Trong SageMaker Canvas, tìm triển khai điểm cuối mô hình của bạn và xóa nó.
2. Đăng xuất khỏi SageMaker Canvas để tránh bị tính phí vì nó chạy không tải.

Tổng kết

Trong bài đăng này, chúng tôi đã trình bày cách một chuyên gia miền có thể đánh giá dữ liệu đầu vào và tạo mô hình ML bằng SageMaker Canvas mà không cần phải viết mã. Sau đó, chúng tôi đã trình bày cách sử dụng mô hình này để thực hiện phát hiện điểm bất thường theo thời gian thực bằng SageMaker và Lambda thông qua một quy trình làm việc đơn giản. Sự kết hợp này cho phép các chuyên gia miền sử dụng kiến ​​thức của họ để tạo ra các mô hình ML mạnh mẽ mà không cần đào tạo thêm về khoa học dữ liệu, đồng thời cho phép các chuyên gia MLOps sử dụng các mô hình này và cung cấp chúng để suy luận một cách linh hoạt và hiệu quả.

Cấp miễn phí 2 tháng có sẵn cho SageMaker Canvas và sau đó bạn chỉ trả tiền cho những gì bạn sử dụng. Hãy bắt đầu thử nghiệm ngay hôm nay và thêm ML để tận dụng tối đa dữ liệu của bạn.

Giới thiệu về tác giả

Helge Aufderheide là người đam mê làm cho dữ liệu có thể sử dụng được trong thế giới thực, tập trung mạnh vào Tự động hóa, Phân tích và Học máy trong các Ứng dụng Công nghiệp, chẳng hạn như Sản xuất và Di động.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/machine-learning/detect-anomalies-in-manufacturing-data-using-amazon-sagemaker-canvas/