pyopenssl содержит dll-ки openssl. Если заменить их последней версией, питон падает при вызове. Почему так? Внутри там есть какие-то .pyd файлы, из них, по идее, вызывается библиотека.

различия в API/ABI?

Обычно программы прекрасно работают с более новыми версиями библиотек. То же самое происходило, когда я ставил бинарный модуль для другой версии питона. Так что думаю, что проблема именно в обертке питона, именно она ломает двоичную совместимость.