Vendor Pangkalan Data Tambah MapReduce Google

Greenplum dan Sistem Data Aster, dua pemula yang terlibat secara besar-besaran analisis data, mengumumkan minggu ini bahawa produk mereka akan menyokong MapReduce, teknik pengaturcaraan yang asalnya dibangunkan oleh Google untuk pemprosesan paralel set data yang besar di perkakasan komoditi.

Pemaju perisian cenderung lebih selesa dengan bahasa seperti Java dan C ++ daripada bahasa pangkalan data SQL, kata Mayank Bawa, pengasas bersama dan Ketua Pegawai Eksekutif Aster, pembuat sistem pangkalan data cluster yang membahagi-bahagikan beban kerja ke pelbagai peringkat diskret.

"Kebanyakan pemaju berjuang dengan nuansa membuat tarian pangkalan data dengan baik ke arah mereka," katanya. menulis dalam catatan blog. "Sesungguhnya, seorang maestro SQL diperlukan untuk melakukan pertanyaan menarik untuk transformasi data (semasa pemprosesan ETL atau pemprosesan Extract-Load-Transform) atau perlombongan data (semasa analisis)."

Masukkan MapReduce, matlamatnya adalah untuk menyediakan "Rangka kerja yang sejajar dengan kerangka sehingga para pemaju pemula (aka intern) dapat menulis program dalam berbagai bahasa (Java / C / C ++ / Perl / Python) untuk menganalisis data bebas skala," tulis Bawa. pembuat pangkalan data yang dikatakan boleh skala kepada petabyte maklumat, mengatakan minggu ini bahawa rangka kerja MapReduce akan menjadi sebahagian daripada enjin aliran datanya pada September.

Pengumuman berkembar membawa kelulusan dari satu pemerhati dekat pangkalan data "Dengan sendiri, MapReduce boleh melakukan banyak kerja penting dalam manipulasi data dan analisis. Mengintegrasikannya dengan SQL hanya perlu meningkatkan kebolehgunaannya dan kuasa," tulis Curt Monash dari Monash Research, di blog DBMS2.

"MapReduce tidak diperlukan untuk tabu pengurusan data utama. Itu sudah diperkatakan secara efisien dengan cara lain, "tambahnya." Tetapi jika anda ingin membina struktur bukan tabular seperti indeks teks atau graf, MapReduce ternyata menjadi bantuan besar. "