IT-DailyРежим архива
 
 
 

Вернуться на все новости от 26 ноября 2008 г.

Google ставит рекорд сортировки данных

Как утверждают в компании Google, созданная ими система MapReduce способна отсортировать терабайт данных за 68 секунд. Это почти в три раза лучше результата, показанного в июле системой Apache Hadoop компании Yahoo!.

Как утверждают в компании Google, созданная ими система MapReduce способна отсортировать терабайт данных за 68 секунд. Это почти в три раза лучше результата, показанного в июле системой Apache Hadoop компании Yahoo!. В то же время, в работе MapReduce была параллельно задействована тысяча серверов, а Yahoo! использовала 910. В другом испытании MapReduce участвовало 4000 серверов, а объем сортируемых данных достиг одного петабайта (1000 терабайт). Система справилась с сортировкой за 6 часов 2 минуты.
 
В отличие от традиционных СУБД, системы MapReduce и Hadoop не основаны на реляционных методах. Некоторые видные специалисты в области баз данных, признавая высокую надежность и масштабируемость этих систем, подвергают их критике за ограниченность функциональности. В Microsoft тоже ведутся работы по созданию параллельной системы на основе SQL Server, хотя масштабы ее несоизмеримы с масштабами Google.

 



1 декабря 200828 ноября 200827 ноября 2008
26 ноября 2008
25 ноября 200824 ноября 200821 ноября 200820 ноября 200819 ноября 200818 ноября 200817 ноября 2008