Skala YouTube MySQL dengan kod Go

Jurutera YouTube sedang membangun satu set perisian, yang dipanggil Vitess, yang akan membantu pangkalan data MySQL terbuka berfungsi dengan lebih cekap dalam persekitaran pengeluaran yang sangat besar. Untuk menulis kod tersebut, mereka menggunakan bahasa pengaturcaraan Go Google.

YouTube sudah menggunakan satu komponen Vitess, yang dipanggil Vtocc, untuk membantu memberikan video kepada semua 800 juta pengguna bulanan perkhidmatan itu. Google memperoleh YouTube pada tahun 2006.

Vtocc telah "sangat stabil, dan ia mempunyai semua alat yang diperlukan untuk digunakan dalam persekitaran pengeluaran," kata arkitek YouTube Sugu Sougoumarane, yang bersama-sama dengan jurutera YouTube Mike Solomon, membahas Vitess di Usenix LISA (Pentadbiran Sistem Pemasangan Besar), yang diadakan minggu ini di San Diego.

That Vitess yang ditulis dalam Go dapat membantu mengesahkan gagasan bahawa bahasa pengaturcaraan yang baru ini dapat digunakan dalam persekitaran pengeluaran berskala besar. Google memperkenalkan versi 1 Go pada Mac.

YouTube menghidangkan lebih daripada 4 bilion jam video setiap bulan. Kira-kira 72 jam video dimuat naik ke perkhidmatan setiap minit. Walaupun YouTube menyimpan semua videonya secara langsung pada sistem fail, ia menggunakan MySQL untuk menyimpan semua metadata yang diperlukan untuk menyampaikan setiap video, seperti keutamaan pengguna, maklumat pengiklanan, penyesuaian negara dan lain-lain maklumat yang diperlukan.

YouTube suka menggunakan MySQL untuk kebolehpercayaannya, kata Solomon, salah seorang jurutera yang mula-mula membina perkhidmatan itu. Ia mempunyai kebiasaan, tetapi kebiasaan ini terkenal dan dapat dikurangkan dengan mudah, katanya. Namun, MySQL juga mempunyai masalah dengan scaling - sekurang-kurangnya skala untuk menampung perkhidmatan yang besar seperti YouTube.

"Masalah utama dengan MySQL ialah apabila anda sampai ke titik tertentu, anda menghabiskan banyak menguruskan perkakasan masa dan berapa banyak kes yang anda ada, "kata Solomon. "Kami mahu mengotomatikkan bahagian itu. Kami mahu mengambil setiap tindakan yang rumit dan rawan kesalahan dan menjadikannya sembuh sendiri."

MySQL juga tidak begitu cekap apabila digunakan dalam penggunaan yang besar. Biasanya, setiap sambungan ke MySQL memerlukan benangnya sendiri pada pelayan. Walau bagaimanapun, pendekatan ini tidak boleh dilakukan pada skala operasi YouTube. "Berluluh puluhan ribu sambungan tidak benar-benar berdaya maju," kata Solomon.

Jurutera syarikat bagaimanapun enggan cuba mengubah kod MySQL teras itu sendiri, dengan menyatakan bahawa membuat perubahan kompleks dan agak sukar -pahami kod sering boleh menghasilkan kesan yang tidak dijangka. "Tidak semestinya apabila anda fikir anda tahu apa yang anda lakukan, itulah apabila anda mula mendapat masalah," kata Solomon.

So Vitess dicipta untuk berjalan bersama MySQL untuk menawarkan keupayaan pengurusan tambahan. Komponen Vtocc, contohnya, menggabungkan beribu-ribu pertanyaan SQL yang masuk ke dalam beberapa kumpulan yang lebih kecil sehingga MySQL dapat mengambil sumber yang lebih sedikit memenuhi permintaan ini. Vtocc juga menghuraikan pertanyaan supaya mereka dapat dilaksanakan dengan lebih cekap, dan mengurangkan kerja yang disebabkan oleh pertanyaan duplikat dengan menggunakan semula hasil daripada satu pertanyaan untuk memenuhi permintaan yang sama.

Menggunakan Go telah membolehkan pemaju YouTube menjadi lebih produktif daripada yang mereka lakukan telah menggunakan bahasa yang lebih tradisional, kata Sougoumarane.

Go code compiles dengan cepat, katanya. 30,000 baris kod dalam Vitess boleh disusun menjadi binari dalam masa kira-kira 30 saat. Dan, terima kasih kepada set perpustakaan yang kaya, banyak tugas tidak memerlukan pengaturcaraan yang banyak. Sebagai contoh, Sougoumarane menulis rutin 105 baris yang secara berkala memproses fail log, fungsi yang tidak dapat ditulis dalam beberapa baris dengan menggunakan C atau C ++.

"Itulah cara ekspresif Go," kata Sougoumarane. "Ciri bahasa dipikirkan dengan baik dan membantu anda menyusun sesuatu dengan cara yang lebih elegan daripada bahasa tradisional." Sougoumarane juga memuji sokongan concurrency Go, yang penting untuk digunakan dalam pemproses multicore. "Anda tidak perlu risau tentang menguruskan thread," katanya.

Bahasa juga mempunyai beberapa kelemahan, juga, Sougoumarane mengakui. Pengendalian ralat boleh diperbaiki, contohnya.

Salomo berkata, dari masa ke masa, Vitess akan mengambil tugas tambahan, seperti replikasi pangkalan data dan sharding automatik, sehingga pangkalan data boleh berkembang di beberapa pelayan tanpa campur tangan daripada pentadbir.

Joab Jackson merangkumi perisian perusahaan dan berita terkini teknologi umum untuk Perkhidmatan Berita IDG. Ikut Joab di Twitter di @Joab_Jackson. Alamat e-mel Joab ialah [email protected]