Не важно на каком языке программа (если не получится сделать на Пайтон), главное чтобы она консолью CMD или Bash или PowerShell управляла, а не выполняла код этих файлов в консоли IDE.
Надо запускать этой программой батник в Виндовс или PowerShell или скрипт Bash и отслеживать появление в окне слова error или другого слова или фразы, которое может быть необходимо. После обнаружения закрыть это окно и запустить другое окно консоли (также батник в Виндовс или PowerShell или скрипт Bash), которое в этой новооткрытой консоли выведет текст: “Ура, мы сделали это!”.