Windows

Rancangan data besar Facebook termasuk gudang, analisis lebih cepat

3 Kendaraan Mencapai Kekayaan Lebih Cepat

3 Kendaraan Mencapai Kekayaan Lebih Cepat
Anonim

Facebook boleh menghargai data yang ada pada pengguna satu bilion-plus untuk pengembalian iklannya, tetapi analisis laman web yang dilakukan pada data itu dijangka terus menimbulkan pelbagai cabaran sepanjang tahun yang akan datang, kata jurutera.

Masalah yang Facebook telah dipaksa untuk bergulat dengan "lebih awal daripada industri yang lebih luas," termasuk memikirkan cara yang lebih cekap untuk memproses kelakuan pengguna di tapak web, bagaimana untuk mengakses dan menyatukan pelbagai jenis data yang berbeza di seluruh pusat data Facebook, dan mencipta sistem perisian sumber terbuka baru untuk memproses data tersebut, Ra "Murthy, yang menguruskan infrastruktur analisis Facebook, berkata pada hari Selasa.

" Facebook adalah syarikat data, dan orang yang paling jelas yang berfikir tentang hal itu adalah penargetan iklan, "katanya pada persidangan industri di San Francisco

[Bacaan lanjut: Perkhidmatan streaming TV terbaik]

"Tetapi ia lebih mendalam daripada ini," katanya.

Salah satu bidang utama kerja di belakang adalah berkaitan dengan infrastruktur analisis Facebook, yang direka untuk mempercepatkan pembangunan produk dan meningkatkan pengalaman pengguna melalui analisa mendalam semua data yang ada, sama ada ia terdiri daripada tindakan yang pengguna mengambil di laman web seperti posting kemas kini status atau yang

Facebook kini menggunakan beberapa sistem perisian sumber terbuka yang berbeza yang dikenali sebagai Hadoop, Corona dan Prism untuk memproses dan menganalisis datanya, yang mana syarikat akan menumpukan pada membuat lebih cepat dan lebih cekap dalam tempoh enam hingga dua belas bulan akan datang, kata Murthy.

Banyak cabaran syarikat terikat dengan apa yang disebut Facebook sebagai gudang data, yang menggabungkan data dari pelbagai sumber ke dalam pangkalan data di mana aktiviti pengguna dapat dianalisis dalam agregat, seperti dengan memberikan laporan harian mengenai bilangan foto yang telah ditandakan di negara tertentu, atau melihat berapa banyak pengguna di kawasan tertentu telah terlibat dengan halaman yang disyorkan kepada mereka.

Analisis direka untuk mengoptimumkan pengalaman pengguna dan mengetahui apa yang pengguna suka dan tidak suka, tetapi ia juga menjadi semakin banyak cukai kerana Facebook dapat mengakses lebih banyak data mengenai penggunanya, kata Murthy. Pada masa ini, gudang Facebook mengambil 500 terabytes data baru setiap hari, atau 500,000 gigabait. Gudang telah berkembang hampir 4000 kali dalam tempoh empat tahun yang lalu, "di hadapan pertumbuhan pengguna Facebook," kata Murthy.

Untuk menangani isu ini, Facebook telah membangunkan sistem perisian Prismnya, yang direka untuk melaksanakan fungsi analisis utama di seluruh pusat data syarikat di seluruh dunia, dan memisahkan analisis menjadi "potongan," kata Murthy. Dengan cara itu, melakukan analisa, katakan, beberapa metrik yang berkaitan dengan suapan berita pengguna tidak akan menyumbat gudang secara umum.

"Kami semakin berfikir tentang cara menangkap data ini," katanya. > Syarikat juga sedang menjalankan sistem yang mengambil pendekatan yang sama sekali berbeza untuk menanyakan kepada gudang untuk memberi masa tindak balas dalam hitungan detik, kata Murthy.

Satu lagi kawasan Facebook terus mencari peningkatan adalah "infrastruktur transaksinya, "Yang mengendalikan pemprosesan data harian yang lebih asas, berkata, suka, komen dan kemas kini status untuk memastikan rangkaian sosial berjalan dengan lancar. Beberapa soalan yang jurutera dan penganalisis syarikat melihat termasuk memikirkan bagaimana untuk meramalkan pertumbuhan sebenar dalam jenis data ini, dan berapa banyak pengkomputeran Facebook harus benar-benar membagikannya, kata Murthy.

"Bolehkah kita meramalkan apa yang akan menjadi enam bulan dari sekarang?"

Sementara itu, Facebook juga terlibat dalam usaha jangka panjang untuk menjadikan pelayan fizikalnya lebih cekap. Syarikat itu memulakan Projek Penghitungan Terbuka pada tahun 2011, dengan matlamat untuk merancang pelayan modulari yang memberikan pelanggan lebih banyak kawalan ke atas rangkaian, memori, bekalan kuasa dan komponen lain yang masuk ke pelayan mereka. Ia diperluaskan untuk memasukkan pemproses ARM pada bulan Januari.