និមិត្តសញ្ញា Zephyrnet

ការត្រួតពិនិត្យខ្សែសង្វាក់ផលិតកម្មតាមពេលវេលាជាក់ស្តែងរបស់ Krones ជាមួយសេវាកម្មគ្រប់គ្រង Amazon សម្រាប់ Apache Flink | សេវាកម្មគេហទំព័រ Amazon

កាលបរិច្ឆេទ:

ក្រូណេ ផ្តល់ឱ្យរោងចក្រផលិតស្រាបៀរ អ្នកផលិតដបភេសជ្ជៈ និងអ្នកផលិតអាហារទូទាំងពិភពលោកជាមួយនឹងម៉ាស៊ីនបុគ្គល និងខ្សែផលិតកម្មពេញលេញ។ ជា​រៀង​រាល់​ថ្ងៃ ដប​កែវ កំប៉ុង និង​ធុង PET រាប់​លាន​រត់​តាម​បន្ទាត់ Krones។ ខ្សែសង្វាក់ផលិតកម្មគឺជាប្រព័ន្ធស្មុគ្រស្មាញដែលមានកំហុសឆ្គងជាច្រើនដែលអាចរារាំងខ្សែបន្ទាត់ និងកាត់បន្ថយទិន្នផលផលិតកម្ម។ Krones ចង់រកឃើញការបរាជ័យឱ្យបានឆាប់តាមដែលអាចធ្វើទៅបាន (ជួនកាលសូម្បីតែមុនពេលវាកើតឡើង) និងជូនដំណឹងដល់ប្រតិបត្តិករខ្សែសង្វាក់ផលិតកម្មដើម្បីបង្កើនភាពជឿជាក់ និងទិន្នផល។ ដូច្នេះតើធ្វើដូចម្តេចដើម្បីរកឃើញការបរាជ័យ? Krones បំពាក់បន្ទាត់របស់ពួកគេជាមួយនឹងឧបករណ៍ចាប់សញ្ញាសម្រាប់ការប្រមូលទិន្នន័យ ដែលបន្ទាប់មកអាចត្រូវបានវាយតម្លៃប្រឆាំងនឹងច្បាប់។ Krones ក្នុងនាមជាអ្នកផលិតបន្ទាត់ ក៏ដូចជាប្រតិបត្តិករបន្ទាត់មានលទ្ធភាពបង្កើតច្បាប់ត្រួតពិនិត្យសម្រាប់ម៉ាស៊ីន។ ដូច្នេះ អ្នកផលិតដបភេសជ្ជៈ និងប្រតិបត្តិករផ្សេងទៀតអាចកំណត់កំហុសឆ្គងផ្ទាល់ខ្លួនរបស់ពួកគេសម្រាប់បន្ទាត់។ កាលពីមុន Krones បានប្រើប្រព័ន្ធមួយដែលមានមូលដ្ឋានលើមូលដ្ឋានទិន្នន័យស៊េរីពេលវេលា។ បញ្ហាប្រឈមចម្បងគឺថាប្រព័ន្ធនេះពិបាកក្នុងការបំបាត់កំហុស ហើយសំណួរតំណាងឱ្យស្ថានភាពបច្ចុប្បន្នរបស់ម៉ាស៊ីន ប៉ុន្តែមិនមែនការផ្លាស់ប្តូរស្ថានភាពនោះទេ។

ការបង្ហោះនេះបង្ហាញពីរបៀបដែល Krones បានបង្កើតដំណោះស្រាយការផ្សាយដើម្បីតាមដានខ្សែរបស់ពួកគេដោយផ្អែកលើ ក្រុមហ៊ុន Amazon Kinesis និង សេវាកម្មគ្រប់គ្រង Amazon សម្រាប់ Apache Flink. សេវាកម្មដែលគ្រប់គ្រងយ៉ាងពេញលេញទាំងនេះកាត់បន្ថយភាពស្មុគស្មាញនៃការបង្កើតកម្មវិធីស្ទ្រីមជាមួយ Apache Flink ។ សេវាកម្មគ្រប់គ្រងសម្រាប់ Apache Flink គ្រប់គ្រងសមាសធាតុ Apache Flink មូលដ្ឋានដែលផ្តល់នូវស្ថានភាពកម្មវិធីជាប់លាប់ រង្វាស់ កំណត់ហេតុ និងច្រើនទៀត ហើយ Kinesis អនុញ្ញាតឱ្យអ្នកចំណាយយ៉ាងមានប្រសិទ្ធភាពក្នុងការដំណើរការទិន្នន័យស្ទ្រីមនៅគ្រប់មាត្រដ្ឋាន។ ប្រសិនបើអ្នកចង់ចាប់ផ្តើមជាមួយកម្មវិធី Apache Flink ផ្ទាល់ខ្លួនរបស់អ្នក សូមពិនិត្យមើល ឃ្លាំង GitHub សម្រាប់គំរូដោយប្រើ Java, Python ឬ SQL APIs នៃ Flink ។

ទិដ្ឋភាពទូទៅនៃដំណោះស្រាយ

ការត្រួតពិនិត្យបន្ទាត់របស់ Krones គឺជាផ្នែកមួយនៃ ការណែនាំអំពីហាង Krones ប្រព័ន្ធ។ វាផ្តល់ការគាំទ្រនៅក្នុងអង្គការ ការផ្តល់អាទិភាព ការគ្រប់គ្រង និងឯកសារនៃសកម្មភាពទាំងអស់នៅក្នុងក្រុមហ៊ុន។ វាអនុញ្ញាតឱ្យពួកគេជូនដំណឹងដល់ប្រតិបត្តិករ ប្រសិនបើម៉ាស៊ីនត្រូវបានបញ្ឈប់ ឬត្រូវការសម្ភារៈ ដោយមិនគិតពីកន្លែងដែលប្រតិបត្តិករស្ថិតនៅក្នុងជួរ។ ច្បាប់ត្រួតពិនិត្យលក្ខខណ្ឌដែលបានបញ្ជាក់ត្រូវបានភ្ជាប់មកជាមួយរួចហើយ ប៉ុន្តែក៏អាចត្រូវបានកំណត់ដោយអ្នកប្រើប្រាស់តាមរយៈចំណុចប្រទាក់អ្នកប្រើប្រាស់ផងដែរ។ ឧទាហរណ៍ ប្រសិនបើចំណុចទិន្នន័យជាក់លាក់មួយដែលត្រូវបានត្រួតពិនិត្យរំលោភលើកម្រិតកំណត់ វាអាចមានសារជាអក្សរ ឬកេះសម្រាប់ការបញ្ជាទិញថែទាំនៅលើបន្ទាត់។

ប្រព័ន្ធត្រួតពិនិត្យលក្ខខណ្ឌ និងវាយតម្លៃច្បាប់ត្រូវបានបង្កើតឡើងនៅលើ AWS ដោយប្រើសេវាកម្មវិភាគ AWS ។ ដ្យាក្រាមខាងក្រោមបង្ហាញពីស្ថាបត្យកម្ម។

ដ្យាក្រាមស្ថាបត្យកម្មសម្រាប់ការត្រួតពិនិត្យខ្សែសង្វាក់ផលិតកម្ម Krones

ស្ទើរតែគ្រប់កម្មវិធីស្ទ្រីមទិន្នន័យមានប្រាំស្រទាប់៖ ប្រភពទិន្នន័យ ការបញ្ចូលស្ទ្រីម ការផ្ទុកស្ទ្រីម ដំណើរការស្ទ្រីម និងទិសដៅមួយ ឬច្រើន។ នៅក្នុងផ្នែកខាងក្រោម យើងចូលជ្រៅទៅក្នុងស្រទាប់នីមួយៗ និងរបៀបដែលដំណោះស្រាយត្រួតពិនិត្យបន្ទាត់ ដែលបង្កើតឡើងដោយ Krones ដំណើរការលម្អិត។

ប្រភពទិន្នន័យ

ទិន្នន័យត្រូវបានប្រមូលដោយសេវាកម្មដែលដំណើរការលើឧបករណ៍គែមអានពិធីការជាច្រើនដូចជា Siemens S7 ឬ OPC/UA ។ ទិន្នន័យឆៅត្រូវបានដំណើរការជាមុនដើម្បីបង្កើតរចនាសម្ព័ន្ធ JSON បង្រួបបង្រួម ដែលធ្វើឱ្យវាកាន់តែងាយស្រួលក្នុងការដំណើរការនៅពេលក្រោយនៅក្នុងម៉ាស៊ីនច្បាប់។ បន្ទុកគំរូដែលបានបំប្លែងទៅជា JSON អាចមើលទៅដូចនេះ៖

{
  "version": 1,
  "timestamp": 1234,
  "equipmentId": "84068f2f-3f39-4b9c-a995-d2a84d878689",
  "tag": "water_temperature",
  "value": 13.45,
  "quality": "Ok",
  "meta": {      
    "sequenceNumber": 123,
    "flags": ["Fst", "Lst", "Wmk", "Syn", "Ats"],
    "createdAt": 12345690,
    "sourceId": "filling_machine"
  }
}

ការបញ្ចូលស្ទ្រីម

អេស។ អាយ។ ធីហ្គ្រីហ្គ្រីន គឺជាប្រភពបើកចំហ Internet of Things (IoT) edge runtime និង cloud service។ នេះអនុញ្ញាតឱ្យអ្នកធ្វើសកម្មភាពលើទិន្នន័យក្នុងស្រុក និងប្រមូលផ្តុំ និងត្រងទិន្នន័យឧបករណ៍។ AWS IoT Greengrass ផ្តល់នូវសមាសធាតុដែលបានបង្កើតជាមុន ដែលអាចត្រូវបានដាក់ពង្រាយដល់គែម។ ដំណោះស្រាយខ្សែសង្វាក់ផលិតកម្មប្រើប្រាស់សមាសភាគអ្នកគ្រប់គ្រងស្ទ្រីម ដែលអាចដំណើរការទិន្នន័យ និងផ្ទេរវាទៅកាន់ទិសដៅ AWS ដូចជា AWS IoT Analytics, សេវាកម្មផ្ទុកសាមញ្ញរបស់ក្រុមហ៊ុន Amazon (Amazon S3) និង Kinesis ។ កម្មវិធីគ្រប់គ្រងការស្ទ្រីមផ្ទុក និងប្រមូលផ្តុំកំណត់ត្រា បន្ទាប់មកផ្ញើវាទៅស្ទ្រីមទិន្នន័យ Kinesis ។

ការផ្ទុកស្ទ្រីម

ការងាររបស់ឧបករណ៍ផ្ទុកស្ទ្រីមគឺដើម្បីបណ្ដុះសារនៅក្នុងវិធីដែលអត់ឱនចំពោះកំហុស ហើយធ្វើឱ្យវាអាចប្រើបានសម្រាប់កម្មវិធីអ្នកប្រើប្រាស់មួយ ឬច្រើន។ ដើម្បីសម្រេចបានវានៅលើ AWS បច្ចេកវិទ្យាទូទៅបំផុតគឺ Kinesis និង ក្រុមហ៊ុន Amazon គ្រប់គ្រងការស្ទ្រីមសម្រាប់ Apache Kafka (ក្រុមហ៊ុន Amazon MSK) ។ សម្រាប់ការរក្សាទុកទិន្នន័យឧបករណ៍ចាប់សញ្ញារបស់យើងពីខ្សែផលិតកម្ម Krones ជ្រើសរើស Kinesis ។ Kinesis គឺជាសេវាកម្មទិន្នន័យស្ទ្រីមគ្មានម៉ាស៊ីនមេ ដែលដំណើរការនៅគ្រប់មាត្រដ្ឋានជាមួយនឹងភាពយឺតយ៉ាវទាប។ Shards ក្នុង​ស្ទ្រីម​ទិន្នន័យ Kinesis គឺជា​លំដាប់​នៃ​កំណត់ត្រា​ទិន្នន័យ​ដែល​ត្រូវ​បាន​កំណត់​អត្តសញ្ញាណ​ដោយ​ឡែក​មួយ ដែល​ការ​ស្ទ្រីម​ត្រូវ​បាន​ផ្សំ​ឡើង​ដោយ shards មួយ ឬ​ច្រើន។ shard នីមួយៗមានសមត្ថភាពអាន 2 MB/s និងសមត្ថភាពសរសេរ 1 MB/s (ជាមួយនឹងអតិបរមា 1,000 records/s)។ ដើម្បីជៀសវាងការឈានដល់ដែនកំណត់ទាំងនោះ ទិន្នន័យគួរតែត្រូវបានចែកចាយក្នុងចំណោម shards ឱ្យបានស្មើៗគ្នាតាមដែលអាចធ្វើទៅបាន។ រាល់កំណត់ត្រាដែលត្រូវបានផ្ញើទៅកាន់ Kinesis មាន partition key ដែលត្រូវបានប្រើដើម្បីដាក់ទិន្នន័យជាក្រុមទៅជា shard ។ ដូច្នេះ អ្នក​ចង់​មាន​គ្រាប់ចុច​ភាគ​ច្រើន​ដើម្បី​ចែកចាយ​បន្ទុក​ឱ្យ​ស្មើគ្នា។ កម្មវិធីគ្រប់គ្រងការផ្សាយដែលកំពុងដំណើរការលើ AWS IoT Greengrass គាំទ្រការចាត់ចែងគ្រាប់ចុចភាគថាសចៃដន្យ ដែលមានន័យថាកំណត់ត្រាទាំងអស់បញ្ចប់ដោយចៃដន្យ ហើយបន្ទុកត្រូវបានចែកចាយស្មើៗគ្នា។ គុណវិបត្តិនៃការបែងចែកគ្រាប់ចុចចៃដន្យគឺថាកំណត់ត្រាមិនត្រូវបានរក្សាទុកតាមលំដាប់នៅក្នុង Kinesis ទេ។ យើងពន្យល់ពីរបៀបដោះស្រាយវានៅក្នុងផ្នែកបន្ទាប់ដែលយើងនិយាយអំពី watermark ។

ទឹកសម្គាល់។

A watermark គឺជាយន្តការដែលប្រើដើម្បីតាមដាន និងវាស់វែងវឌ្ឍនភាពនៃពេលវេលាព្រឹត្តិការណ៍នៅក្នុងចរន្តទិន្នន័យ។ ពេលវេលាព្រឹត្តិការណ៍ គឺជាពេលវេលាដែលព្រឹត្តិការណ៍ត្រូវបានបង្កើតឡើងនៅប្រភព។ សញ្ញាសម្គាល់ទឹកបង្ហាញពីវឌ្ឍនភាពទាន់ពេលវេលានៃកម្មវិធីដំណើរការស្ទ្រីម ដូច្នេះព្រឹត្តិការណ៍ទាំងអស់ដែលមានត្រាពេលវេលាមុន ឬស្មើគ្នាត្រូវបានចាត់ទុកថាបានដំណើរការ។ ព័ត៌មាននេះគឺចាំបាច់សម្រាប់ Flink ដើម្បីជំរុញពេលវេលាព្រឹត្តិការណ៍ និងជំរុញការគណនាដែលពាក់ព័ន្ធ ដូចជាការវាយតម្លៃបង្អួចជាដើម។ ភាពយឺតយ៉ាវដែលបានអនុញ្ញាតរវាងពេលវេលាព្រឹត្តិការណ៍ និងសញ្ញាសម្គាល់ទឹកអាចត្រូវបានកំណត់រចនាសម្ព័ន្ធដើម្បីកំណត់រយៈពេលដែលត្រូវរង់ចាំទិន្នន័យយឺត មុនពេលពិចារណាលើវិនដូដែលបញ្ចប់ និងជំរុញការសម្គាល់ទឹក។

Krones មានប្រព័ន្ធនៅជុំវិញពិភពលោក ហើយត្រូវការដើម្បីដោះស្រាយការមកដល់យឺត ដោយសារការបាត់បង់ការតភ្ជាប់ ឬបញ្ហាបណ្តាញផ្សេងទៀត។ ពួកគេបានចាប់ផ្តើមដោយការត្រួតពិនិត្យការមកដល់យឺត និងកំណត់ការដោះស្រាយការយឺតយ៉ាវ Flink លំនាំដើមដល់តម្លៃអតិបរមាដែលពួកគេបានឃើញនៅក្នុងម៉ែត្រនេះ។ ពួកគេបានជួបប្រទះបញ្ហាជាមួយនឹងការធ្វើសមកាលកម្មពេលវេលាពីឧបករណ៍គែម ដែលនាំពួកគេទៅរកវិធីស្មុគ្រស្មាញជាងមុននៃការគូសពណ៌។ ពួកគេបានបង្កើត watermark ជាសកលសម្រាប់អ្នកផ្ញើទាំងអស់ ហើយប្រើតម្លៃទាបបំផុតជា watermark។ ត្រាពេលវេលាត្រូវបានរក្សាទុកក្នុង HashMap សម្រាប់ព្រឹត្តិការណ៍ចូលទាំងអស់។ នៅពេលដែលសញ្ញាសម្គាល់ទឹកត្រូវបានបញ្ចេញតាមកាលកំណត់ តម្លៃតូចបំផុតនៃ HashMap នេះត្រូវបានប្រើ។ ដើម្បីជៀសវាងការជាប់គាំងនៃ watermark ដោយបាត់ទិន្នន័យ ពួកគេបានកំណត់រចនាសម្ព័ន្ធមួយ។ idleTimeOut ប៉ារ៉ាម៉ែត្រ ដែលមិនអើពើនឹងត្រាពេលវេលាដែលចាស់ជាងកម្រិតជាក់លាក់។ វាបង្កើនភាពយឺតយ៉ាវ ប៉ុន្តែផ្តល់នូវភាពស៊ីសង្វាក់គ្នានៃទិន្នន័យខ្លាំង។

public class BucketWatermarkGenerator implements WatermarkGenerator<DataPointEvent> {
private HashMap <String, WatermarkAndTimestamp> lastTimestamps;
private Long idleTimeOut;
private long maxOutOfOrderness;
}

ដំណើរការស្ទ្រីម

បន្ទាប់ពីទិន្នន័យត្រូវបានប្រមូលពីឧបករណ៍ចាប់សញ្ញា និងបញ្ចូលទៅក្នុង Kinesis វាចាំបាច់ត្រូវវាយតម្លៃដោយម៉ាស៊ីនច្បាប់។ ច្បាប់នៅក្នុងប្រព័ន្ធនេះតំណាងឱ្យស្ថានភាពនៃម៉ែត្រតែមួយ (ដូចជាសីតុណ្ហភាព) ឬបណ្តុំនៃម៉ែត្រ។ ដើម្បីបកស្រាយម៉ែត្រ ចំណុចទិន្នន័យច្រើនជាងមួយត្រូវបានប្រើ ដែលជាការគណនាតាមរដ្ឋ។ នៅក្នុងផ្នែកនេះ យើងចូលជ្រៅទៅក្នុងស្ថានភាពគន្លឹះ និងស្ថានភាពផ្សាយនៅក្នុង Apache Flink និងរបៀបដែលពួកវាត្រូវបានប្រើដើម្បីបង្កើតម៉ាស៊ីនគ្រប់គ្រង Krones ។

គ្រប់គ្រងការស្ទ្រីម និងការផ្សាយគំរូរដ្ឋ

នៅក្នុង Apache Flink, រដ្ឋ សំដៅទៅលើសមត្ថភាពរបស់ប្រព័ន្ធក្នុងការរក្សាទុក និងគ្រប់គ្រងព័ត៌មានដោយខ្ជាប់ខ្ជួនក្នុងពេលវេលា និងប្រតិបត្តិការ ដែលអនុញ្ញាតឱ្យដំណើរការទិន្នន័យស្ទ្រីមជាមួយនឹងការគាំទ្រសម្រាប់ការគណនាតាមរដ្ឋ។

នេះ គំរូរដ្ឋការផ្សាយ អនុញ្ញាត​ឱ្យ​ការ​ចែកចាយ​នៃ​រដ្ឋ​មួយ​ទៅ​គ្រប់​ករណី​ប៉ារ៉ាឡែល​នៃ​ប្រតិបត្តិករ​មួយ។ ដូច្នេះ ប្រតិបត្តិករទាំងអស់មានស្ថានភាពដូចគ្នា ហើយទិន្នន័យអាចត្រូវបានដំណើរការដោយប្រើស្ថានភាពដូចគ្នានេះ។ ទិន្នន័យដែលបានតែអាននេះអាចត្រូវបានបញ្ចូលដោយប្រើចរន្តគ្រប់គ្រង។ ស្ទ្រីមគ្រប់គ្រងគឺជាស្ទ្រីមទិន្នន័យធម្មតា ប៉ុន្តែជាធម្មតាមានអត្រាទិន្នន័យទាបជាងច្រើន។ គំរូនេះអនុញ្ញាតឱ្យអ្នកធ្វើបច្ចុប្បន្នភាពស្ថានភាពថាមវន្តលើប្រតិបត្តិករទាំងអស់ ដោយអនុញ្ញាតឱ្យអ្នកប្រើផ្លាស់ប្តូរស្ថានភាព និងអាកប្បកិរិយារបស់កម្មវិធីដោយមិនចាំបាច់ប្រើឡើងវិញ។ ច្បាស់ជាងនេះទៅទៀត ការចែកចាយរដ្ឋគឺធ្វើឡើងដោយការប្រើប្រាស់ចរន្តគ្រប់គ្រង។ តាមរយៈការបន្ថែមកំណត់ត្រាថ្មីទៅក្នុងស្ទ្រីមគ្រប់គ្រង ប្រតិបត្តិករទាំងអស់ទទួលបានបច្ចុប្បន្នភាពនេះ ហើយកំពុងប្រើស្ថានភាពថ្មីសម្រាប់ដំណើរការសារថ្មី។

នេះអនុញ្ញាតឱ្យអ្នកប្រើប្រាស់កម្មវិធី Krones បញ្ចូលច្បាប់ថ្មីទៅក្នុងកម្មវិធី Flink ដោយមិនចាំបាច់ចាប់ផ្តើមវាឡើងវិញ។ នេះជៀសវាងការឈប់សម្រាក និងផ្តល់នូវបទពិសោធន៍អ្នកប្រើប្រាស់ដ៏អស្ចារ្យ នៅពេលដែលការផ្លាស់ប្តូរកើតឡើងក្នុងពេលជាក់ស្តែង។ ច្បាប់គ្របដណ្តប់លើសេណារីយ៉ូ ដើម្បីរកមើលគម្លាតនៃដំណើរការ។ ពេលខ្លះ ទិន្នន័យរបស់ម៉ាស៊ីនមិនងាយស្រួលបកស្រាយដូចដែលវាអាចមើលនៅ glance ដំបូង។ ប្រសិនបើឧបករណ៍ចាប់សញ្ញាសីតុណ្ហភាពកំពុងផ្ញើតម្លៃខ្ពស់ នេះអាចបង្ហាញពីកំហុស ប៉ុន្តែក៏ជាឥទ្ធិពលនៃនីតិវិធីថែទាំដែលកំពុងបន្តផងដែរ។ វាមានសារៈសំខាន់ណាស់ក្នុងការដាក់ម៉ែត្រនៅក្នុងបរិបទ និងត្រងតម្លៃមួយចំនួន។ នេះត្រូវបានសម្រេចដោយគំនិតដែលគេហៅថា ដាក់ជាក្រុម.

ការដាក់ជាក្រុមនៃម៉ែត្រ

ការដាក់ជាក្រុមនៃទិន្នន័យ និងម៉ែត្រអនុញ្ញាតឱ្យអ្នកកំណត់ភាពពាក់ព័ន្ធនៃទិន្នន័យចូល និងបង្កើតលទ្ធផលត្រឹមត្រូវ។ ចូរយើងដើរតាមឧទាហរណ៍ក្នុងរូបខាងក្រោម។

ការដាក់ជាក្រុមនៃម៉ែត្រ

នៅក្នុងជំហានទី 1 យើងកំណត់ក្រុមលក្ខខណ្ឌពីរ។ ក្រុមទី 1 ប្រមូលស្ថានភាពម៉ាស៊ីន និងផលិតផលណាមួយដែលកំពុងឆ្លងកាត់ខ្សែបន្ទាត់។ ក្រុមទី 2 ប្រើតម្លៃនៃឧបករណ៍ចាប់សញ្ញាសីតុណ្ហភាពនិងសម្ពាធ។ ក្រុមលក្ខខណ្ឌអាចមានស្ថានភាពផ្សេងៗគ្នា អាស្រ័យលើតម្លៃដែលវាទទួលបាន។ ក្នុងឧទាហរណ៍នេះ ក្រុមទី 1 ទទួលបានទិន្នន័យដែលម៉ាស៊ីនកំពុងដំណើរការ ហើយដបមួយលីត្រត្រូវបានជ្រើសរើសជាផលិតផល។ នេះផ្តល់ឱ្យក្រុមនេះនូវរដ្ឋ ACTIVE. ក្រុមទី 2 មានម៉ែត្រសម្រាប់សីតុណ្ហភាពនិងសម្ពាធ; រង្វាស់ទាំងពីរគឺលើសពីកម្រិតកំណត់របស់ពួកគេអស់រយៈពេលជាង 5 នាទី។ នេះ​ជា​លទ្ធផល​ក្រុម​ទី​២​ស្ថិត​ក្នុង​ក WARNING រដ្ឋ។ នេះមានន័យថាក្រុមទី 1 រាយការណ៍ថាអ្វីៗទាំងអស់គឺល្អហើយក្រុមទី 2 មិនមានទេ។ នៅក្នុងជំហានទី 2 ទម្ងន់ត្រូវបានបន្ថែមទៅក្រុម។ នេះត្រូវការជាចាំបាច់ក្នុងស្ថានភាពមួយចំនួន ពីព្រោះក្រុមអាចរាយការណ៍ព័ត៌មានមិនស្របគ្នា។ នៅក្នុងសេណារីយ៉ូនេះ ក្រុមទី 1 រាយការណ៍ ACTIVE និងរបាយការណ៍ក្រុមទី 2 WARNINGដូច្នេះវាមិនច្បាស់ចំពោះប្រព័ន្ធថាស្ថានភាពនៃបន្ទាត់គឺជាអ្វី។ បន្ទាប់ពីបន្ថែមទម្ងន់ រដ្ឋអាចត្រូវបានចាត់ថ្នាក់ដូចបានបង្ហាញក្នុងជំហានទី 3។ ចុងក្រោយ រដ្ឋដែលមានចំណាត់ថ្នាក់ខ្ពស់បំផុតត្រូវបានជ្រើសរើសជាអ្នកឈ្នះ ដូចដែលបានបង្ហាញក្នុងជំហានទី 4។

បន្ទាប់ពីច្បាប់ត្រូវបានវាយតម្លៃ ហើយស្ថានភាពម៉ាស៊ីនចុងក្រោយត្រូវបានកំណត់ លទ្ធផលនឹងត្រូវបានដំណើរការបន្ថែមទៀត។ សកម្មភាពដែលបានធ្វើឡើងអាស្រ័យលើការកំណត់រចនាសម្ព័ន្ធច្បាប់; នេះអាចជាការជូនដំណឹងដល់ប្រតិបត្តិករបន្ទាត់ដើម្បីស្តុកសម្ភារៈឡើងវិញ ថែទាំខ្លះ ឬគ្រាន់តែជាការអាប់ដេតដែលមើលឃើញនៅលើផ្ទាំងគ្រប់គ្រង។ ផ្នែកនៃប្រព័ន្ធនេះ ដែលវាយតម្លៃម៉ែត្រ និងវិធាន និងធ្វើសកម្មភាពដោយផ្អែកលើលទ្ធផល ត្រូវបានគេសំដៅថាជា ម៉ាស៊ីនគ្រប់គ្រង.

ការធ្វើមាត្រដ្ឋានម៉ាស៊ីនច្បាប់

ដោយអនុញ្ញាតឱ្យអ្នកប្រើប្រាស់បង្កើតច្បាប់ផ្ទាល់ខ្លួនរបស់ពួកគេ ម៉ាស៊ីនច្បាប់អាចមានច្បាប់ជាច្រើនដែលវាត្រូវការដើម្បីវាយតម្លៃ ហើយច្បាប់មួយចំនួនអាចប្រើទិន្នន័យឧបករណ៍ចាប់សញ្ញាដូចគ្នាទៅនឹងច្បាប់ផ្សេងទៀត។ Flink គឺជាប្រព័ន្ធចែកចាយដែលធ្វើមាត្រដ្ឋានផ្ដេកបានយ៉ាងល្អ។ ដើម្បីចែកចាយស្ទ្រីមទិន្នន័យទៅកិច្ចការជាច្រើន អ្នកអាចប្រើ keyBy() វិធីសាស្រ្ត។ នេះអនុញ្ញាតឱ្យអ្នកបែងចែកស្ទ្រីមទិន្នន័យតាមរបៀបឡូជីខល ហើយផ្ញើផ្នែកនៃទិន្នន័យទៅអ្នកគ្រប់គ្រងកិច្ចការផ្សេងៗ។ ជារឿយៗនេះត្រូវបានធ្វើដោយជ្រើសរើសកូនសោបំពាន ដូច្នេះអ្នកទទួលបានបន្ទុកចែកចាយស្មើៗគ្នា។ ក្នុង​ករណី​នេះ Krones បាន​បន្ថែម A ruleId ទៅចំណុចទិន្នន័យ ហើយប្រើវាជាគន្លឹះ។ បើមិនដូច្នោះទេចំណុចទិន្នន័យដែលត្រូវការត្រូវបានដំណើរការដោយកិច្ចការមួយផ្សេងទៀត។ ស្ទ្រីមទិន្នន័យដែលមានសោអាចប្រើប្រាស់បានគ្រប់ក្បួនទាំងអស់ ដូចទៅនឹងអថេរធម្មតាដែរ។

ទិសដៅ

នៅពេលដែលច្បាប់ផ្លាស់ប្តូរស្ថានភាពរបស់វា ព័ត៌មានត្រូវបានបញ្ជូនទៅស្ទ្រីម Kinesis ហើយបន្ទាប់មកតាមរយៈ ក្រុមហ៊ុន Amazon EventBridge ដល់អ្នកប្រើប្រាស់។ អ្នកប្រើប្រាស់ម្នាក់បង្កើតការជូនដំណឹងពីព្រឹត្តិការណ៍ដែលត្រូវបានបញ្ជូនទៅខ្សែសង្វាក់ផលិតកម្ម និងជូនដំណឹងដល់បុគ្គលិកឱ្យធ្វើសកម្មភាព។ ដើម្បី​អាច​វិភាគ​ការ​ផ្លាស់​ប្តូ​រ​រដ្ឋ​ច្បាប់ សេវា​មួយ​ផ្សេង​ទៀត​សរសេរ​ទិន្នន័យ​ទៅ​មួយ ក្រុមហ៊ុន Amazon DynamoDB តារាងសម្រាប់ការចូលប្រើបានលឿន ហើយ TTL ត្រូវបានដាក់ឱ្យដំណើរការដើម្បីបញ្ជូនប្រវត្តិរយៈពេលវែងទៅកាន់ Amazon S3 សម្រាប់ការរាយការណ៍បន្ថែម។

សន្និដ្ឋាន

នៅក្នុងការប្រកាសនេះ យើងបានបង្ហាញអ្នកពីរបៀបដែល Krones បានបង្កើតប្រព័ន្ធត្រួតពិនិត្យខ្សែសង្វាក់ផលិតកម្មតាមពេលវេលាជាក់ស្តែងនៅលើ AWS ។ សេវាកម្មគ្រប់គ្រងសម្រាប់ Apache Flink បានអនុញ្ញាតឱ្យក្រុម Krones ចាប់ផ្តើមយ៉ាងឆាប់រហ័សដោយផ្តោតលើការអភិវឌ្ឍន៍កម្មវិធីជាជាងហេដ្ឋារចនាសម្ព័ន្ធ។ សមត្ថភាពក្នុងពេលជាក់ស្តែងរបស់ Flink បានបើកឱ្យ Krones កាត់បន្ថយពេលវេលារងចាំម៉ាស៊ីន 10% និងបង្កើនប្រសិទ្ធភាពរហូតដល់ 5%។

ប្រសិនបើអ្នកចង់បង្កើតកម្មវិធីស្ទ្រីមផ្ទាល់ខ្លួនរបស់អ្នក សូមពិនិត្យមើលគំរូដែលមាននៅលើ ឃ្លាំង GitHub. ប្រសិនបើអ្នកចង់ពង្រីកកម្មវិធី Flink របស់អ្នកជាមួយនឹងឧបករណ៍ភ្ជាប់ផ្ទាល់ខ្លួន សូមមើល ធ្វើឱ្យវាកាន់តែងាយស្រួលក្នុងការបង្កើតឧបករណ៍ភ្ជាប់ជាមួយ Apache Flink: ការណែនាំ Async Sink. Async Sink មាននៅក្នុង Apache Flink កំណែ 1.15.1 និងក្រោយ។


អំពីនិពន្ធនេះ

Florian Mair គឺជាស្ថាបត្យករដំណោះស្រាយជាន់ខ្ពស់ និងជាអ្នកជំនាញការស្ទ្រីមទិន្នន័យនៅ AWS ។ គាត់គឺជាអ្នកបច្ចេកវិជ្ជាដែលជួយអតិថិជននៅអឺរ៉ុបឱ្យទទួលបានជោគជ័យ និងច្នៃប្រឌិតដោយការដោះស្រាយបញ្ហាប្រឈមមុខជំនួញដោយប្រើសេវាកម្ម AWS Cloud ។ ក្រៅពីធ្វើការជាស្ថាបត្យករដំណោះស្រាយ Florian គឺជាអ្នកឡើងភ្នំដែលមានចំណង់ចំណូលចិត្ត ហើយបានឡើងភ្នំខ្ពស់បំផុតមួយចំនួននៅទូទាំងទ្វីបអឺរ៉ុប។

Emil Dietl គឺជាអ្នកដឹកនាំផ្នែកបច្ចេកវិទ្យាជាន់ខ្ពស់នៅ Krones ឯកទេសផ្នែកវិស្វកម្មទិន្នន័យ ជាមួយនឹងផ្នែកសំខាន់នៅក្នុង Apache Flink និងសេវាកម្មមីក្រូ។ ការងាររបស់គាត់ជារឿយៗពាក់ព័ន្ធនឹងការអភិវឌ្ឍន៍ និងថែទាំកម្មវិធីបេសកកម្មសំខាន់ៗ។ ក្រៅ​ពី​ជីវិត​អាជីព គាត់​ឲ្យ​តម្លៃ​យ៉ាង​ខ្លាំង​ចំពោះ​ការ​ចំណាយ​ពេល​វេលា​ប្រកប​ដោយ​គុណភាព​ជាមួយ​គ្រួសារ។

លោក Simon Peyer គឺជាដំណោះស្រាយស្ថាបត្យករនៅ AWS ដែលមានមូលដ្ឋាននៅប្រទេសស្វីស។ គាត់គឺជាអ្នកអនុវត្តជាក់ស្តែង ហើយមានចំណង់ចំណូលចិត្តក្នុងការភ្ជាប់បច្ចេកវិទ្យា និងមនុស្សដោយប្រើសេវាកម្ម AWS Cloud ។ ការផ្តោតជាពិសេសសម្រាប់គាត់គឺការស្ទ្រីមទិន្នន័យ និងស្វ័យប្រវត្តិកម្ម។ ក្រៅ​ពី​ការងារ ស៊ីម៉ូន​រីករាយ​ជាមួយ​ក្រុម​គ្រួសារ ក្រៅ​ផ្ទះ និង​ដើរ​លេង​តាម​ភ្នំ។

spot_img

បញ្ញាចុងក្រោយ

spot_img