Python-сообщество

megoloman · Май 6, 2016 16:31:12

Здравствуйте! Подскажите пожалуйста какой способ будет наиболее рациональным для сравнения 2-х петабайтных файлов?

PooH · Май 6, 2016 18:58:16

Сравнить дату изменения :)

Вот здесь один из первых отарков съел лаборанта. Это был такой умный отарк, что понимал даже теорию относительности. Он разговаривал с лаборантом, а потом бросился на него и загрыз…

megoloman · Май 6, 2016 19:27:57

Сравнить к примеру на наличие недостающих данных, суть в том, каким образом с такими большими объемами лучше работать?

doza_and · Май 6, 2016 19:56:23

А что вы понимаете под сравнением? Что будет получаться в результате сравнения? Если они петабайтные, то это уже наверное уже и не файлы. На чем размещено?
Операция достаточно стандартная легко гуглится.

http://stackoverflow.com/questions/29226212/comparing-two-text-files-using-hadoop-map-reduce

Довольно неплохо себя показал на суперЭВМ распределенный hdf5 файл. Для него есть утилиты сравнения файлов.

Python-сообщество

Уведомления

#1 Май 6, 2016 16:31:12

Сравнение 2х файлов очень большого объема

#2 Май 6, 2016 18:58:16

Сравнение 2х файлов очень большого объема

#3 Май 6, 2016 19:27:57

Сравнение 2х файлов очень большого объема

#4 Май 6, 2016 19:56:23

Сравнение 2х файлов очень большого объема

Board footer