Обновился до #webpack 5, пришлось обновить html web plugin, который в итоге попросил меня прописать publicPath. И все ок.