ক্রোনস সারা বিশ্বে ব্রুয়ারি, বেভারেজ বোটলার এবং খাদ্য উৎপাদকদের পৃথক মেশিন এবং সম্পূর্ণ উৎপাদন লাইন সরবরাহ করে। প্রতিদিন, লক্ষ লক্ষ কাচের বোতল, ক্যান এবং পিইটি কন্টেইনারগুলি ক্রোনস লাইনের মধ্য দিয়ে চলে। প্রোডাকশন লাইন হল জটিল সিস্টেম যার অনেকগুলি সম্ভাব্য ত্রুটি রয়েছে যা লাইনকে আটকে দিতে পারে এবং উৎপাদনের ফলন হ্রাস করতে পারে। ক্রোনস যত তাড়াতাড়ি সম্ভব ব্যর্থতা সনাক্ত করতে চায় (কখনও কখনও এটি হওয়ার আগেও) এবং নির্ভরযোগ্যতা এবং আউটপুট বাড়ানোর জন্য উত্পাদন লাইন অপারেটরদের অবহিত করতে চায়। তাহলে কিভাবে একটি ব্যর্থতা সনাক্ত করতে? Krones তথ্য সংগ্রহের জন্য সেন্সর দিয়ে তাদের লাইন সজ্জিত করে, যা তারপর নিয়মের বিরুদ্ধে মূল্যায়ন করা যেতে পারে। ক্রোনস, লাইন প্রস্তুতকারক হিসাবে, সেইসাথে লাইন অপারেটরের মেশিনগুলির জন্য পর্যবেক্ষণের নিয়ম তৈরি করার সম্ভাবনা রয়েছে। অতএব, পানীয় বোতল এবং অন্যান্য অপারেটররা লাইনের জন্য তাদের নিজস্ব ত্রুটির মার্জিন সংজ্ঞায়িত করতে পারে। অতীতে, ক্রোনস একটি টাইম সিরিজ ডাটাবেসের উপর ভিত্তি করে একটি সিস্টেম ব্যবহার করত। প্রধান চ্যালেঞ্জগুলি ছিল যে এই সিস্টেমটি ডিবাগ করা কঠিন ছিল এবং প্রশ্নগুলি মেশিনের বর্তমান অবস্থাকে প্রতিনিধিত্ব করে কিন্তু রাষ্ট্রীয় রূপান্তর নয়।

এই পোস্টটি দেখায় যে কীভাবে ক্রোনস তাদের লাইনগুলি নিরীক্ষণের জন্য একটি স্ট্রিমিং সমাধান তৈরি করেছে, তার উপর ভিত্তি করে আমাজন কিনেসিস এবং Apache Flink এর জন্য Amazon পরিচালিত পরিষেবা. এই সম্পূর্ণরূপে পরিচালিত পরিষেবাগুলি অ্যাপাচি ফ্লিঙ্কের সাথে স্ট্রিমিং অ্যাপ্লিকেশন তৈরির জটিলতা হ্রাস করে৷ Apache Flink-এর জন্য পরিচালিত পরিষেবা অন্তর্নিহিত Apache Flink উপাদানগুলি পরিচালনা করে যা টেকসই অ্যাপ্লিকেশন অবস্থা, মেট্রিক্স, লগ এবং আরও অনেক কিছু প্রদান করে এবং Kinesis আপনাকে যে কোনো স্কেলে খরচ-কার্যকরভাবে স্ট্রিমিং ডেটা প্রক্রিয়া করতে সক্ষম করে। আপনি যদি আপনার নিজের Apache Flink অ্যাপ্লিকেশন দিয়ে শুরু করতে চান, তাহলে দেখুন GitHub সংগ্রহস্থল ফ্লিঙ্কের Java, Python, বা SQL APIs ব্যবহার করে নমুনার জন্য।

সমাধান ওভারভিউ

ক্রোনসের লাইন মনিটরিং এর অংশ ক্রোনস শপফ্লোর গাইডেন্স পদ্ধতি. এটি সংস্থায় সহায়তা প্রদান করে, অগ্রাধিকার প্রদান করে, পরিচালনা করে এবং কোম্পানির সকল কার্যক্রমের ডকুমেন্টেশন প্রদান করে। এটি তাদের অপারেটরকে অবহিত করতে দেয় যদি মেশিনটি বন্ধ হয়ে যায় বা উপকরণের প্রয়োজন হয়, অপারেটর যেখানেই থাকুক না কেন। প্রমাণিত অবস্থা পর্যবেক্ষণ নিয়ম ইতিমধ্যে অন্তর্নির্মিত কিন্তু ব্যবহারকারী ইন্টারফেসের মাধ্যমে ব্যবহারকারীকে সংজ্ঞায়িত করা যেতে পারে। উদাহরণস্বরূপ, যদি পর্যবেক্ষণ করা হয় এমন একটি নির্দিষ্ট ডেটা পয়েন্ট একটি থ্রেশহোল্ড লঙ্ঘন করে, তাহলে লাইনে একটি রক্ষণাবেক্ষণ আদেশের জন্য একটি পাঠ্য বার্তা বা ট্রিগার হতে পারে।

অবস্থা পর্যবেক্ষণ এবং নিয়ম মূল্যায়ন সিস্টেম AWS-এ নির্মিত, AWS বিশ্লেষণ পরিষেবা ব্যবহার করে। নিচের চিত্রটি স্থাপত্যের চিত্র তুলে ধরে।

প্রায় প্রতিটি ডেটা স্ট্রিমিং অ্যাপ্লিকেশনে পাঁচটি স্তর থাকে: ডেটা উত্স, স্ট্রিম ইনজেশন, স্ট্রিম স্টোরেজ, স্ট্রিম প্রসেসিং এবং এক বা একাধিক গন্তব্য। নিম্নলিখিত বিভাগগুলিতে, আমরা প্রতিটি স্তরের গভীরে প্রবেশ করি এবং ক্রোনস দ্বারা নির্মিত লাইন মনিটরিং সমাধানটি কীভাবে কাজ করে তা বিশদভাবে কাজ করে।

তথ্য সূত্র

সিমেন্স S7 বা OPC/UA এর মত বিভিন্ন প্রোটোকল পড়ার প্রান্ত ডিভাইসে চলমান একটি পরিষেবা দ্বারা ডেটা সংগ্রহ করা হয়। একটি ইউনিফাইড JSON স্ট্রাকচার তৈরি করার জন্য কাঁচা ডেটা প্রিপ্রসেস করা হয়, যা নিয়ম ইঞ্জিনে পরবর্তীতে প্রক্রিয়া করা সহজ করে। JSON তে রূপান্তরিত একটি নমুনা পেলোড নিম্নলিখিত মত দেখতে হতে পারে:

{
  "version": 1,
  "timestamp": 1234,
  "equipmentId": "84068f2f-3f39-4b9c-a995-d2a84d878689",
  "tag": "water_temperature",
  "value": 13.45,
  "quality": "Ok",
  "meta": {      
    "sequenceNumber": 123,
    "flags": ["Fst", "Lst", "Wmk", "Syn", "Ats"],
    "createdAt": 12345690,
    "sourceId": "filling_machine"
  }
}

স্ট্রিম ইনজেশন

এডাব্লুএস আইওটি গ্রিনগ্রাস একটি ওপেন সোর্স ইন্টারনেট অফ থিংস (IoT) এজ রানটাইম এবং ক্লাউড পরিষেবা৷ এটি আপনাকে স্থানীয়ভাবে ডেটার উপর কাজ করতে এবং ডিভাইসের ডেটা একত্রিত এবং ফিল্টার করতে দেয়। AWS IoT Greengrass পূর্বনির্মাণ উপাদান সরবরাহ করে যা প্রান্তে স্থাপন করা যেতে পারে। প্রোডাকশন লাইন সলিউশন স্ট্রিম ম্যানেজার কম্পোনেন্ট ব্যবহার করে, যা ডেটা প্রসেস করতে পারে এবং এটিকে AWS গন্তব্যে স্থানান্তর করতে পারে যেমন AWS IoT বিশ্লেষণ, আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3), এবং Kinesis. স্ট্রীম ম্যানেজার রেকর্ডগুলিকে বাফার করে এবং একত্রিত করে, তারপর এটি একটি কাইনেসিস ডেটা স্ট্রীমে পাঠায়।

স্ট্রিম স্টোরেজ

স্ট্রিম স্টোরেজের কাজ হল ত্রুটি সহনশীল উপায়ে বার্তাগুলিকে বাফার করা এবং এটি এক বা একাধিক ভোক্তা অ্যাপ্লিকেশনের ব্যবহারের জন্য উপলব্ধ করা। AWS-এ এটি অর্জন করার জন্য, সবচেয়ে সাধারণ প্রযুক্তি হল Kinesis এবং Apache Kafka-এর জন্য Amazon পরিচালিত স্ট্রিমিং (আমাজন এমএসকে)। প্রোডাকশন লাইন থেকে আমাদের সেন্সর ডেটা সঞ্চয় করার জন্য, ক্রোনস কাইনেসিস বেছে নেয়। Kinesis হল একটি সার্ভারহীন স্ট্রিমিং ডেটা পরিষেবা যা কম লেটেন্সি সহ যেকোনো স্কেলে কাজ করে। কাইনেসিস ডেটা স্ট্রিমের মধ্যে শার্ডগুলি ডেটা রেকর্ডের একটি অনন্যভাবে চিহ্নিত ক্রম, যেখানে একটি স্ট্রিম এক বা একাধিক শার্ডের সমন্বয়ে গঠিত। প্রতিটি শার্ডের 2 MB/s পড়ার ক্ষমতা এবং 1 MB/s লেখার ক্ষমতা (সর্বোচ্চ 1,000 রেকর্ড/s সহ)। এই সীমাগুলিকে আঘাত করা এড়াতে, যতটা সম্ভব সমানভাবে শার্ডগুলির মধ্যে ডেটা বিতরণ করা উচিত। কাইনেসিসে পাঠানো প্রতিটি রেকর্ডে একটি পার্টিশন কী থাকে, যা ডাটাকে একটি শার্ডে গোষ্ঠীভুক্ত করতে ব্যবহৃত হয়। অতএব, লোড সমানভাবে বিতরণ করার জন্য আপনি প্রচুর সংখ্যক পার্টিশন কী রাখতে চান। AWS IoT Greengrass-এ চলমান স্ট্রিম ম্যানেজার র্যান্ডম পার্টিশন কী অ্যাসাইনমেন্ট সমর্থন করে, যার মানে হল যে সমস্ত রেকর্ড একটি এলোমেলো শার্ডে শেষ হয় এবং লোড সমানভাবে বিতরণ করা হয়। র্যান্ডম পার্টিশন কী অ্যাসাইনমেন্টের একটি অসুবিধা হল যে রেকর্ডগুলি কাইনেসিসে ক্রমানুসারে সংরক্ষণ করা হয় না। আমরা পরবর্তী বিভাগে এটি কীভাবে সমাধান করব তা ব্যাখ্যা করব, যেখানে আমরা ওয়াটারমার্ক সম্পর্কে কথা বলি।

ওয়াটারমার্ক

A জলছাপ ডেটা স্ট্রীমে ইভেন্ট সময়ের অগ্রগতি ট্র্যাক এবং পরিমাপ করার জন্য ব্যবহৃত একটি প্রক্রিয়া। ইভেন্টের সময় হল টাইমস্ট্যাম্প যখন উৎসে ইভেন্টটি তৈরি করা হয়েছিল। ওয়াটারমার্ক স্ট্রীম প্রসেসিং অ্যাপ্লিকেশনের সময়মত অগ্রগতি নির্দেশ করে, তাই পূর্ববর্তী বা সমান টাইমস্ট্যাম্প সহ সমস্ত ইভেন্ট প্রক্রিয়াকৃত হিসাবে বিবেচিত হয়। ইভেন্টের সময় অগ্রসর করতে এবং উইন্ডো মূল্যায়নের মতো প্রাসঙ্গিক গণনা ট্রিগার করতে ফ্লিঙ্কের জন্য এই তথ্য অপরিহার্য। ইভেন্টের সময় এবং ওয়াটারমার্কের মধ্যে অনুমোদিত ব্যবধান একটি উইন্ডো সম্পূর্ণ বিবেচনা করার আগে এবং ওয়াটারমার্ককে অগ্রসর করার আগে দেরী ডেটার জন্য কতক্ষণ অপেক্ষা করতে হবে তা নির্ধারণ করতে কনফিগার করা যেতে পারে।

ক্রোনসের সারা বিশ্বে সিস্টেম রয়েছে এবং সংযোগ হারানো বা অন্যান্য নেটওয়ার্ক সীমাবদ্ধতার কারণে দেরিতে আগমন পরিচালনা করার জন্য এটি প্রয়োজনীয়। তারা দেরীতে আগমন পর্যবেক্ষণ করে এবং ডিফল্ট ফ্লিঙ্ক দেরী হ্যান্ডলিংকে এই মেট্রিকে তারা যে সর্বাধিক মান দেখেছিল তা সেট করে শুরু করেছিল। তারা প্রান্ত ডিভাইসগুলি থেকে সময় সিঙ্ক্রোনাইজেশনের সাথে সমস্যাগুলি অনুভব করেছে, যা তাদের ওয়াটারমার্কিংয়ের আরও পরিশীলিত উপায়ে নিয়ে যায়। তারা সমস্ত প্রেরকের জন্য একটি গ্লোবাল ওয়াটারমার্ক তৈরি করেছে এবং ওয়াটারমার্ক হিসাবে সর্বনিম্ন মান ব্যবহার করেছে। টাইমস্ট্যাম্পগুলি সমস্ত ইনকামিং ইভেন্টের জন্য একটি হ্যাশম্যাপে সংরক্ষণ করা হয়। যখন ওয়াটারমার্কগুলি পর্যায়ক্রমে নির্গত হয়, তখন এই হ্যাশম্যাপের ক্ষুদ্রতম মানটি ব্যবহার করা হয়। ডেটা হারিয়ে জলছাপ আটকানো এড়াতে, তারা একটি কনফিগার করেছে idleTimeOut প্যারামিটার, যা একটি নির্দিষ্ট থ্রেশহোল্ডের চেয়ে পুরানো টাইমস্ট্যাম্পগুলিকে উপেক্ষা করে৷ এটি লেটেন্সি বাড়ায় কিন্তু শক্তিশালী ডেটা সামঞ্জস্য দেয়।

public class BucketWatermarkGenerator implements WatermarkGenerator<DataPointEvent> {
private HashMap <String, WatermarkAndTimestamp> lastTimestamps;
private Long idleTimeOut;
private long maxOutOfOrderness;
}

স্ট্রিম প্রক্রিয়াকরণ

সেন্সর থেকে ডেটা সংগ্রহ করে কাইনেসিসে প্রবেশ করানোর পরে, এটি একটি নিয়ম ইঞ্জিন দ্বারা মূল্যায়ন করা প্রয়োজন। এই সিস্টেমের একটি নিয়ম একটি একক মেট্রিকের অবস্থা (যেমন তাপমাত্রা) বা মেট্রিক্সের একটি সংগ্রহের প্রতিনিধিত্ব করে। একটি মেট্রিক ব্যাখ্যা করতে, একাধিক ডেটা পয়েন্ট ব্যবহার করা হয়, যা একটি রাষ্ট্রীয় গণনা। এই বিভাগে, আমরা অ্যাপাচি ফ্লিঙ্কের কীড স্টেট এবং ব্রডকাস্ট স্টেটের গভীরে ডুব দিই এবং কীভাবে সেগুলি ক্রোনস রুল ইঞ্জিন তৈরি করতে ব্যবহার করা হয়।

নিয়ন্ত্রণ স্ট্রীম এবং সম্প্রচার রাষ্ট্র প্যাটার্ন

Apache Flink এ, অবস্থা রাষ্ট্রীয় গণনার জন্য সমর্থন সহ স্ট্রিমিং ডেটা প্রক্রিয়াকরণ সক্ষম করে, সময় এবং ক্রিয়াকলাপ জুড়ে অবিরামভাবে তথ্য সংরক্ষণ এবং পরিচালনা করার সিস্টেমের ক্ষমতাকে বোঝায়।

সার্জারির সম্প্রচার রাষ্ট্র প্যাটার্ন একটি অপারেটরের সমস্ত সমান্তরাল দৃষ্টান্তে একটি রাষ্ট্রের বিতরণের অনুমতি দেয়। অতএব, সমস্ত অপারেটরের একই অবস্থা এবং এই একই অবস্থা ব্যবহার করে ডেটা প্রক্রিয়া করা যেতে পারে। এই শুধুমাত্র-পঠন ডেটা একটি নিয়ন্ত্রণ স্ট্রীম ব্যবহার করে ইনজেস্ট করা যেতে পারে। একটি কন্ট্রোল স্ট্রিম একটি নিয়মিত ডেটা স্ট্রিম, তবে সাধারণত অনেক কম ডেটা রেট সহ। এই প্যাটার্নটি আপনাকে সমস্ত অপারেটরের অবস্থাকে গতিশীলভাবে আপডেট করার অনুমতি দেয়, ব্যবহারকারীকে পুনরায় স্থাপনের প্রয়োজন ছাড়াই অ্যাপ্লিকেশনটির অবস্থা এবং আচরণ পরিবর্তন করতে সক্ষম করে। আরও স্পষ্টভাবে, রাজ্যের বন্টন একটি নিয়ন্ত্রণ প্রবাহ ব্যবহার করে করা হয়। কন্ট্রোল স্ট্রীমে একটি নতুন রেকর্ড যোগ করার মাধ্যমে, সমস্ত অপারেটর এই আপডেটটি গ্রহণ করে এবং নতুন বার্তাগুলির প্রক্রিয়াকরণের জন্য নতুন অবস্থা ব্যবহার করছে।

এটি ক্রোনস অ্যাপ্লিকেশনের ব্যবহারকারীদের এটি পুনরায় চালু না করেই ফ্লিঙ্ক অ্যাপ্লিকেশনটিতে নতুন নিয়মগুলি গ্রহণ করতে দেয়৷ এটি ডাউনটাইম এড়িয়ে যায় এবং রিয়েল টাইমে পরিবর্তন হওয়ার সাথে সাথে একটি দুর্দান্ত ব্যবহারকারীর অভিজ্ঞতা দেয়। একটি নিয়ম প্রক্রিয়া বিচ্যুতি সনাক্ত করার জন্য একটি দৃশ্যকল্প কভার করে। কখনও কখনও, মেশিন ডেটা ব্যাখ্যা করা ততটা সহজ নয় যতটা এটি প্রথম নজরে দেখতে পারে। যদি একটি তাপমাত্রা সেন্সর উচ্চ মান পাঠায়, এটি একটি ত্রুটি নির্দেশ করতে পারে, কিন্তু একটি চলমান রক্ষণাবেক্ষণ পদ্ধতির প্রভাবও হতে পারে। মেট্রিক্সকে প্রসঙ্গে রাখা এবং কিছু মান ফিল্টার করা গুরুত্বপূর্ণ। এই নামক একটি ধারণা দ্বারা অর্জন করা হয় গ্রুপিং.

মেট্রিক্সের গ্রুপিং

ডেটা এবং মেট্রিক্সের গ্রুপিং আপনাকে ইনকামিং ডেটার প্রাসঙ্গিকতা নির্ধারণ করতে এবং সঠিক ফলাফল তৈরি করতে দেয়। চলুন নিচের চিত্রে উদাহরণ দিয়ে চলুন।

ধাপ 1 এ, আমরা দুটি শর্ত গ্রুপ সংজ্ঞায়িত করি। গ্রুপ 1 মেশিনের অবস্থা এবং কোন পণ্য লাইনের মধ্য দিয়ে যাচ্ছে তা সংগ্রহ করে। গ্রুপ 2 তাপমাত্রা এবং চাপ সেন্সর মান ব্যবহার করে. একটি শর্ত গোষ্ঠীর মানগুলির উপর নির্ভর করে বিভিন্ন অবস্থা থাকতে পারে। এই উদাহরণে, গ্রুপ 1 ডেটা পায় যে মেশিনটি চলছে, এবং এক-লিটার বোতলটি পণ্য হিসাবে নির্বাচন করা হয়েছে; এটি এই গোষ্ঠীকে রাষ্ট্র দেয় ACTIVE. গ্রুপ 2-তে তাপমাত্রা এবং চাপের মেট্রিক্স রয়েছে; উভয় মেট্রিক 5 মিনিটেরও বেশি সময় ধরে তাদের থ্রেশহোল্ডের উপরে। এর ফলে গ্রুপ 2 এ হচ্ছে WARNING অবস্থা. এর মানে গ্রুপ 1 রিপোর্ট করে যে সবকিছু ঠিক আছে এবং গ্রুপ 2 তা করে না। ধাপ 2 এ, গোষ্ঠীতে ওজন যোগ করা হয়। এটি কিছু পরিস্থিতিতে প্রয়োজন, কারণ গ্রুপগুলি পরস্পরবিরোধী তথ্য রিপোর্ট করতে পারে। এই পরিস্থিতিতে, গ্রুপ 1 রিপোর্ট ACTIVE এবং গ্রুপ 2 রিপোর্ট WARNING, তাই লাইনের অবস্থা কী তা সিস্টেমের কাছে স্পষ্ট নয়। ওজন যোগ করার পরে, স্টেপ র‍্যাঙ্ক করা যেতে পারে, যেমনটি ধাপ 3 এ দেখানো হয়েছে। শেষ পর্যন্ত, সর্বোচ্চ র‌্যাঙ্কযুক্ত রাজ্যকে বিজয়ী হিসেবে বেছে নেওয়া হয়েছে, যেমন ধাপ 4-এ দেখানো হয়েছে।

নিয়মগুলি মূল্যায়ন করার পরে এবং মেশিনের চূড়ান্ত অবস্থা সংজ্ঞায়িত করার পরে, ফলাফলগুলি আরও প্রক্রিয়া করা হবে। গৃহীত পদক্ষেপ নিয়ম কনফিগারেশন উপর নির্ভর করে; এটি লাইন অপারেটরের কাছে উপকরণ পুনরুদ্ধার করতে, কিছু রক্ষণাবেক্ষণ করতে, অথবা ড্যাশবোর্ডে একটি ভিজ্যুয়াল আপডেট হতে পারে। সিস্টেমের এই অংশটি, যা মেট্রিক্স এবং নিয়মগুলি মূল্যায়ন করে এবং ফলাফলের উপর ভিত্তি করে পদক্ষেপ নেয়, একটি হিসাবে উল্লেখ করা হয় নিয়ম ইঞ্জিন.

নিয়ম ইঞ্জিন স্কেলিং

ব্যবহারকারীদের তাদের নিজস্ব নিয়ম তৈরি করতে দিয়ে, নিয়ম ইঞ্জিনের অনেক বেশি নিয়ম থাকতে পারে যা এটি মূল্যায়ন করতে হবে এবং কিছু নিয়ম অন্যান্য নিয়মের মতো একই সেন্সর ডেটা ব্যবহার করতে পারে। ফ্লিঙ্ক হল একটি ডিস্ট্রিবিউটেড সিস্টেম যেটি খুব ভালোভাবে অনুভূমিকভাবে স্কেল করে। বিভিন্ন কাজে একটি ডেটা স্ট্রিম বিতরণ করতে, আপনি ব্যবহার করতে পারেন keyBy() পদ্ধতি এটি আপনাকে একটি যৌক্তিক উপায়ে একটি ডেটা স্ট্রিম পার্টিশন করতে এবং ডেটার অংশগুলি বিভিন্ন টাস্ক ম্যানেজারকে পাঠাতে দেয়। এটি প্রায়শই একটি নির্বিচারে কী নির্বাচন করে করা হয় যাতে আপনি সমানভাবে বিতরণ করা লোড পান। এই ক্ষেত্রে, ক্রোনস এ যোগ করেছেন ruleId ডেটা পয়েন্টে এবং এটি একটি কী হিসাবে ব্যবহার করে। অন্যথায়, প্রয়োজনীয় ডেটা পয়েন্টগুলি অন্য টাস্ক দ্বারা প্রক্রিয়া করা হয়। কীড ডেটা স্ট্রীমটি একটি নিয়মিত ভেরিয়েবলের মতো সমস্ত নিয়ম জুড়ে ব্যবহার করা যেতে পারে।

গন্তব্য

যখন একটি নিয়ম তার অবস্থা পরিবর্তন করে, তথ্য একটি Kinesis স্ট্রীম এবং তারপর মাধ্যমে পাঠানো হয় অ্যামাজন ইভেন্টব্রিজ ভোক্তাদের কাছে। ভোক্তাদের মধ্যে একজন ইভেন্ট থেকে একটি বিজ্ঞপ্তি তৈরি করে যা উত্পাদন লাইনে প্রেরণ করা হয় এবং কর্মীদের কাজ করার জন্য সতর্ক করে। নিয়মের অবস্থার পরিবর্তনগুলি বিশ্লেষণ করতে সক্ষম হওয়ার জন্য, অন্য একটি পরিষেবা একটিতে ডেটা লেখে আমাজন ডায়নামোডিবি দ্রুত অ্যাক্সেসের জন্য টেবিল এবং আরও প্রতিবেদনের জন্য Amazon S3 এ দীর্ঘমেয়াদী ইতিহাস অফলোড করার জন্য একটি TTL রয়েছে।

উপসংহার

এই পোস্টে, আমরা আপনাকে দেখিয়েছি কিভাবে ক্রোনস AWS-এ একটি রিয়েল-টাইম প্রোডাকশন লাইন মনিটরিং সিস্টেম তৈরি করেছে। অ্যাপাচি ফ্লিঙ্কের জন্য পরিচালিত পরিষেবা ক্রোনস দলকে অবকাঠামোর পরিবর্তে অ্যাপ্লিকেশন বিকাশে মনোযোগ দিয়ে দ্রুত শুরু করার অনুমতি দেয়। ফ্লিঙ্কের রিয়েল-টাইম ক্ষমতা ক্রোনকে মেশিন ডাউনটাইম 10% কমাতে এবং 5% পর্যন্ত দক্ষতা বাড়াতে সক্ষম করেছে।

আপনি যদি নিজের স্ট্রিমিং অ্যাপ্লিকেশনগুলি তৈরি করতে চান তবে উপলব্ধ নমুনাগুলি দেখুন GitHub সংগ্রহস্থল. আপনি যদি কাস্টম সংযোগকারীর সাথে আপনার ফ্লিঙ্ক অ্যাপ্লিকেশন প্রসারিত করতে চান, দেখুন অ্যাপাচি ফ্লিঙ্কের সাথে সংযোগকারীগুলি তৈরি করা আরও সহজ করা: অ্যাসিঙ্ক সিঙ্ক প্রবর্তন করা হচ্ছে. Async সিঙ্ক Apache Flink সংস্করণ 1.15.1 এবং পরবর্তী সংস্করণে উপলব্ধ।

লেখক সম্পর্কে

ফ্লোরিয়ান মাইর AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট এবং ডেটা স্ট্রিমিং বিশেষজ্ঞ। তিনি একজন প্রযুক্তিবিদ যিনি AWS ক্লাউড পরিষেবাগুলি ব্যবহার করে ব্যবসায়িক চ্যালেঞ্জগুলি সমাধান করে ইউরোপের গ্রাহকদের সফল হতে এবং উদ্ভাবন করতে সহায়তা করেন৷ সমাধানের স্থপতি হিসাবে কাজ করার পাশাপাশি, ফ্লোরিয়ান একজন উত্সাহী পর্বতারোহী, এবং ইউরোপ জুড়ে কিছু উচ্চতম পর্বত আরোহণ করেছেন।

এমিল ডিটেল Apache Flink এবং microservices-এ একটি মূল ক্ষেত্র সহ ডেটা ইঞ্জিনিয়ারিং-এ বিশেষজ্ঞ ক্রোনসের একজন সিনিয়র টেক লিড। তার কাজ প্রায়ই মিশন-সমালোচনা সফ্টওয়্যার উন্নয়ন এবং রক্ষণাবেক্ষণ জড়িত. তার পেশাগত জীবনের বাইরে, তিনি তার পরিবারের সাথে মানসম্পন্ন সময় কাটানোকে গভীরভাবে মূল্য দেন।

সাইমন পেয়ার সুইজারল্যান্ড ভিত্তিক AWS-এর একজন সলিউশন আর্কিটেক্ট। তিনি একজন ব্যবহারিক কাজকারী এবং প্রযুক্তি এবং AWS ক্লাউড পরিষেবাগুলি ব্যবহার করে লোকেদের সংযোগ করার বিষয়ে উত্সাহী৷ তার জন্য একটি বিশেষ ফোকাস ডেটা স্ট্রিমিং এবং অটোমেশন। কাজের পাশাপাশি, সাইমন তার পরিবার, বাইরে এবং পাহাড়ে হাইকিং উপভোগ করে।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/big-data/krones-real-time-production-line-monitoring-with-amazon-managed-service-for-apache-flink/