Столкнулся со странной проблемой, библиотека не устанавливается командой python3 setup.py install (в site-packages появляется файл libname-0.0.1-py3.6-macosx-10.12-x86_64.egg, но он не распаковывается как положено).
В то же время данная библиотека нормально устанавливается если сначала из нее собрать whl, а потом его уже устанавливать.
setup.py выглядит следующим образом:
from setuptools import setup, Extension setup( name='libname', version='0.0.1', url='', license='', author='author', author_email='', description='', packages=[ 'libname', ] )