Не сме застраховани от наплив на имигранти по границите ни, предупреди бившият външен министър.