DjangoBB LoFi version

Найти - Пользователи

Полная версия: Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1

Начало » Network » Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1

1 2 3 4

i.slepov

Сен. 15, 2015 14:29:56

А у вас файл не меняется случаем во время загрузки? Никто в него не пишет?

shuhart

Сен. 15, 2015 15:06:53

i.slepov
А у вас файл не меняется случаем во время загрузки? Никто в него не пишет?

Нет, не меняется.
Как-то на процесс влияет прокси. Без неё - все копируется корректно. Но что именно влияет, и как это отследить, я пока не знаю.

doza_and

Сен. 15, 2015 21:49:11

Судя по картинке отвалился хвост. Только непонятно сколько байт.

PooH

Сен. 16, 2015 06:30:38

Вот тут похоже про ваш случай. Весь тред там читать не стал.

Вообще я у себя ftp пускаю через ftp-proxy, работает и активный и пассивный режим. Какой смысл его через squid гонять?!

shuhart

Сен. 16, 2015 08:01:20

doza_and
Судя по картинке отвалился хвост. Только непонятно сколько байт.

Да, только “хвост”. Количество отвалившихся байт всегда разное, поэтому не стал заострять на этом внимание.

shuhart

Сен. 16, 2015 08:07:16

PooH
Вот тут похоже про ваш случай. Весь тред там читать не стал.

Да, похоже.

PooH
Вообще я у себя ftp пускаю через ftp-proxy, работает и активный и пассивный режим. Какой смысл его через squid гонять?!

Это было бы, действительно, выходом, но приходится работать с тем, что есть. Руководство, админы, программисты, к сожалению, зачастую живут в разных плоскостях реальности

py.user.next

Сен. 16, 2015 10:28:59

doza_and
А что это даст? Если воспользоваться утилитами сравнения то больше информации получится.

Это большее количество информации ничего не даст, файл бинарный. Надо просто установить, передаётся ли 800-метровый файл или тоже портится.

shuhart

Сен. 16, 2015 11:29:04

py.user.next
Это большее количество информации ничего не даст, файл бинарный. Надо просто установить, передаётся ли 800-метровый файл или тоже портится.

Не знаю, почему именно 800Мб, но проверил - файл тоже портится.
Прикрепил скрин сравнения.

py.user.next

Сен. 16, 2015 11:38:32

shuhart
Не знаю, почему именно 800Мб, но проверил - файл тоже портится.

Вот, надо узнать минимальный, который передаётся нормально.
Для контроля целостности используй md5, потому что CRC подвержен коллизиям, так как число короткое (может два разных файла показать одинаковыми).
Снижай по 100 метров, пока стабильно не будет передаваться. Может так получиться, что и малые файлы портятся.

shuhart

Сен. 16, 2015 11:49:13

py.user.next
Снижай по 100 метров, пока стабильно не будет передаваться. Может так получиться, что и малые файлы портятся.

Сразу могу сказать, что малые файлы портятся тоже, т.к. я для ускорения тестирования пробовал на файле размером 78,5 Мб.