Hrad Ilava bol založený členmi náboženského rytierskeho rádu templárov v prvej polovici 12. storočia. Presný dátum jeho vzniku nie je známy. Do polovice 16. storočia bol hrad i s priľahlými sídlami vo vlastníctve rôznych majiteľov.