Laman web

Yahoo Membantu IIT Bombay Mengadakan Lab Hadoop Cluster

Hadoop vs Spark | Hadoop And Spark Difference | Hadoop And Spark Training | Simplilearn

Hadoop vs Spark | Hadoop And Spark Difference | Hadoop And Spark Training | Simplilearn
Anonim

Yahoo telah membantu Institut Teknologi India Bombay untuk menubuhkan sebuah makmal kluster Hadoop di Mumbai dengan menderma satu kelompok pelayan yang menjalankan perisian Hadoop sumber terbuka.

Apache Hadoop adalah projek pengkomputeran yang diedarkan secara terbuka dari sumber Yayasan Apache Software yang menyokong Yahoo.

Yahoo menjalankan sejumlah besar operasi kritikalnya menggunakan Hadoop, dan ia tidak dapat melakukan semua penyelidikan yang diperlukan di sekitar Hadoop dalam syarikat tersebut, kata Prabhakar Raghavan, wakil presiden senior dan ketua Yahoo Labs, dalam satu temu bual telefon pada hari Khamis.

Yahoo mengumumkan pada Jun tahun lalu pengedarannya sendiri Hadoop, yang mengutip minat dari komunitas Apache Hadoop bahawa ia menerbitkan versi Hadoop yang menguji dan menyebarkan pada kelompoknya sendiri.

Cluster makmal di M umbai akan membantu penyelidik di kawasan pengajian institut seperti teknik mencari dan ranking, pengekstrakan maklumat dan pemprosesan bahasa semulajadi.

Pengajar akademik yang ingin menyelidik isu-isu berkaitan dengan Web biasanya tidak dapat memperoleh sumber-sumber pengiraan dan terabytes Data yang diperlukan untuk penyelidikan ke atas "masalah skala Web", kata Raghavan.

Bermula dengan menyediakan penyelidik Hadoop di Carnegie Mellon University dengan superkomputer 4,000-pemproses pada tahun 2007, Yahoo telah membantu universiti lain di Amerika Syarikat untuk mendirikan Hadoop

Raghavan tidak memberikan lebih banyak maklumat mengenai kluster yang dipasang di IIT, hanya mengatakan bahawa pelayan dengan beratus-ratus CPU dan keupayaan untuk mengendalikan terabyte data telah digunakan di sana.

Selain IIT Bombay, Yahoo sedang membantu menubuhkan kumpulan yang sama di institusi akademik di Jerman dan Singapura, kata Raghavan. Ini adalah tiga lembaga akademik yang pertama di luar A.S. di mana Yahoo membantu menubuhkan kumpulan tersebut, katanya.

Yahoo merancang untuk kemudian jaringan beberapa kluster di seluruh dunia untuk membuat "utilitas yang lebih besar". Sebelum itu, keupayaan pentadbiran sistem Hadoop perlu dikukuhkan untuk menghalang pelajar dalam satu institusi yang melanggar kerja di institusi lain, kata Raghavan.

Yahoo bekerjasama pada tahun 2008 dengan Makmal Penyelidikan Komputasi (CRL), makmal yang dikendalikan oleh India Tata Group, menawarkan kemudahan superkomputer percuma kepada institusi akademik di India yang meneliti pengkomputeran berskala besar, terutamanya di sekitar Hadoop. Kerjasama itu terus berlanjut, tetapi fokus kepada superkomputer yang berprestasi tinggi, kata Raghavan.

Berbaur dengan institusi akademik di Hadoop membantu Yahoo membina kumpulan jurutera yang biasa dengan platform Hadoop, menurut Raghavan. Beberapa daripada mereka bahkan telah diupah oleh Yahoo, katanya.

Yahoo juga mendapat manfaat daripada idea-idea yang datang dari institusi akademik melakukan penyelidikan menggunakan Hadoop, kata Raghavan. Namun, beliau tidak memberikan contoh khusus idea yang diambil dari kerjasama ini dengan institusi akademik.