Android

Amazon Automates Penggunaan Hadoop untuk Pemaju

AWS re:Invent 2018: Hadoop/Spark to Amazon EMR, Architect It for Security & Governance (ANT312)

AWS re:Invent 2018: Hadoop/Spark to Amazon EMR, Architect It for Security & Governance (ANT312)
Anonim

Amazon.com telah melancarkan perkhidmatan yang dihoskan yang direka untuk memudahkan pemaju menggunakan pelaksanaan Hadoop dari model pengaturcaraan MapReduce untuk memproses set data yang besar dalam cluster prosesor.

Dipanggil Amazon Elastic MapReduce, perkhidmatan pengkomputeran awan ditujukan kepada pemaju with Elastic Amazon MapReduce, banyak tugas yang perlu dikendalikan oleh pengembang secara manual berkaitan dengan Hadoop adalah automatik, komputasi awan Amazon Web Services (AWS) syarikat

[Bacaan lanjut: Perkhidmatan penstriman TV terbaik]

"Menggunakan MapReduce Elastik, anda boleh membuat, menjalankan, memantau, dan mengawal kerja Hadoop dengan titik dan klik mudah. Anda tidak perlu keluar dan membeli skrap perkakasan. Anda tidak perlu mengguntingnya, rangkaiankannya, atau mentadbirnya. Anda tidak perlu risau tentang kehabisan sumber atau berkongsi dengan ahli organisasi anda yang lain. Anda tidak perlu memantaunya, menyesuaikannya atau menghabiskan masa menaik taraf sistem atau perisian aplikasi di atasnya, "catatan blog yang dibaca.

AWS memutuskan untuk mencipta perkhidmatan ini setelah mengetahui ia mempunyai pelanggan yang menjalankan pekerjaan Hadoop di Amazon Khidmat Elastic Compute Cloud (EC2), yang menyediakan kapasiti pengkomputeran yang dihoskan.Karena Hadoop menjadi semakin popular, Amazon bertujuan untuk memudahkan pemaju lain memanfaatkan pelaksanaan open source MapReduce ini.

Elastic MapReduce works in conjunction with EC2 dan Perkhidmatan Simpanan Sederhana Amazon (S3) yang menjadi tuan rumah perkhidmatan awan penyimpanan. "Map ElasticReduce secara automatik berputar sehingga pelaksanaan Hadoop rangka MapReduce pada keadaan Amazon EC2, sub-membahagikan data dalam aliran kerja ke bahagian-bahagian yang lebih kecil agar mereka dapat diproses - fungsi 'peta' - selari, dan akhirnya mengkombinasikan data yang diproses ke dalam penyelesaian akhir - fungsi 'mengurangkan'. Amazon S3 berfungsi sebagai sumber untuk dianalisis data, dan sebagai tujuan keluaran untuk hasil akhir, "menurut keterangan tersendiri mengenai perkhidmatan tersebut.

Seperti dengan perkhidmatan awan AWS yang lain, caj Amazon untuk MapReduce Elastis berdasarkan pada penggunaan, tanpa bayaran minimum.