Роден е на 22 юли 1954 г. в град Джърси Сити, щата Ню Джърси. Той започва музикалния си път с изучаването на барабани, но повлиян от иконичните Бийтълс, хваща китарата. По-късно, музиката на Майлс Дейвис предизвиква интереса му към джаза. През 1971 г. постъпва в Музикалния колеж „Бъркли“ в Бостън. През 1974 г. е включен от Чик Кърия в групата му Return to Forever, след като Кърия остава силно впечатлен от негови демо записи. През 1976 г. Меола издава първия си солов албум „Land of Midnight Sun“, в който свирят Чик Кърия, Стенли Кларк, Джако Пасториъс и други големи джаз музиканти.
Наред с богатата си солова кариера, той се заема с успешни колаборации с бас-китариста Стенли Кларк, кийбордиста Джан Хемър, виолиста Жан-Люк Понти и китаристите Джон Маклафлин и Пако де Лусия.
Меола на няколко пъти изнася концерти в България, включително с Маклафлин и покойния Пако де Лусия през 1996
