neitro
Просто у различных хостингов эта информация отличается.

Т.е. вы собираетесь проверять доступность страницы которую перед этим никогда не скачивали? Я правильно понял?

Просто обычно берут текст из рабочей страницы, а у вас, если я правильно понял - список урлов и вы должны проверить их на работоспособность, без предварительной подготовки.

neitro
Есть такое подозрение, что для решения задачи нужно использовать что-то в виде нейронных сетей.

Не, конечный автомат подойдёт.
wiki. пример