"Още много хора ще си тръгнат, ако той остане във футболния съюз", смята бившия национален селекционер