DjangoBB LoFi version

Полная версия: Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1

Начало » Network » Загрузка больших файлов на ftp через squid с авторизацией с использованием pycurl 7.19.5.1

1 2 3 4

shuhart

Сен. 20, 2015 06:35:48

py.user.next
Проверил это? Я не могу полагаться на то, что ты говоришь, потому что ты в начале говорил одно, а там оказалось совсем другое.

Вот зачем заниматься манипуляцией? Во-первых, я уже достаточно чётко ответил и сейчас, и ранее

shuhart
i.slepov
А у вас файл не меняется случаем во время загрузки? Никто в него не пишет?

Нет, не меняется.
Как-то на процесс влияет прокси. Без неё - все копируется корректно. Но что именно влияет, и как это отследить, я пока не знаю.

что без прокси копирование корректно. Во-вторых, я никак не искажал ситуацию, а описывал появляющиеся по мере рассмотрения проблемы.
А ты постоянно что-то советуешь, но к диагностике проблемы это мало имеет отношения, похоже на хождение вокруг, да около. Я вот, например, не понял почему нужно было проверять на файле именно 800Мб, почему не 700Мб или 630Мб. Поверь, до того, как написать на форум (специально, чтобы задать вопрос, зарегистрировался), было проверено очень много вариантов.
Предлагаю дальше не продолжать, т.к. заниматься перепалками нет ни времени, ни желания.
Если найду решение проблемы, обязательно выложу сюда. Может быть кому-то пригодится. Всем спасибо!

PooH

Сен. 20, 2015 08:35:27

Интересно было бы узнать конечный результат, хотел повторить, но слишком много перенастраивать. Если уж админ не идет на контакт, можно попробовать обойти проблему, например, вместо pycurl дергать через subprocess консольный ftp-клиент, возможно тот-же total commander умеет вызываться с ключами.

shuhart

Сен. 23, 2015 15:21:58

PooH
Интересно было бы узнать конечный результат, хотел повторить, но слишком много перенастраивать. Если уж админ не идет на контакт, можно попробовать обойти проблему, например, вместо pycurl дергать через subprocess консольный ftp-клиент, возможно тот-же total commander умеет вызываться с ключами.

Так и поступил, через subprocess. В качестве ftp-клиента использовал 32-х разрядный CURL (v.7.44.00).
Командная строка:

curl.exe --upload-file <source_file> ftp://<ftp_user>:<ftp_password>@<ftp_ip>:<ftp:port> --proxy http://<proxy_ip>:<proxy_port> --proxy-user <proxy_user>:<proxy_password> --proxytunnel --silent

Копирование прошло корректно. Опробованы разные размеры файлов: от 1Мб до 5Гб.
Остается загадкой, почему модуль pycurl при работе через squid не решает задачу? В чем проблема: не корректно определен параметрами режим работы pycurl, или дело в самом модуле, и надо бы написать баг-репорт? Для последнего все же мало информации.
Пока мой робот использует “не родной” curl и уже двое суток работает без сбоев.
Всем спасибо!

py.user.next

Сен. 25, 2015 08:15:22

shuhart
А ты постоянно что-то советуешь, но к диагностике проблемы это мало имеет отношения, похоже на хождение вокруг, да около.

Вот именно, что тебе там что-то кажется всё время. И это мешает.

shuhart
Я вот, например, не понял почему нужно было проверять на файле именно 800Мб, почему не 700Мб или 630Мб.

Потому что ты сказал, что не проходит около 950, а остальное всё проходит. Доказательств про остальное ты не привёл. Просто сказал “верьте мне и всё”.
Понятие “около 950” может захватывать и 900, поэтому я снизил на сто метров, чтобы точно было, и сказал проверить 800. А ты проигнорировал, потому что сам типа умный.

А потом так и оказалось, что я прав, а ты проделал кучу лишней работы по борьбе с таймаутами. (Потратил и своё время впустую, и окружающих.)

shuhart
Поверь, до того, как написать на форум (специально, чтобы задать вопрос, зарегистрировался), было проверено очень много вариантов.

Откуда я-то знаю? Может ты придурок какой-нибудь очередной, которые сидят админами какими-то там и элементарных проблем решить не могут, потому что мозгов нет, а понтов - выше крыши.

У них просто искажение восприятия, они неосознанно обобщают свой уровень знаний в компьютерах на программирование.