Когда Гондор ослабел, Изенгард, охранявший проход между Белыми и Мглистыми горами, пришлось оставить. В 2710 г. Третьей Эпохи крепость была занята дунландцами, но уже в 2759 г. они были выбиты оттуда, и в том же году Саруман пришел к Рохиррим с дарами и занял Изенгард с разрешения Берена, Наместника Гондора. От него же Саруман получил ключи от Ортханка. С тех пор долину Изенгарда стали называть Нан-Курунир.

Таким образом изначально Саруман был лишь командиром людей Гондора, формально подчиняющимся Наместнику. Но в 2953 г. он объявил Изенгард своей собственностью и начал укреплять его, произведя большие перестройки. Именно тогда рощи были срублены, а пруд осушён и засыпан. В крепостных стенах пробили многочисленные туннели, которые стали казармами для армии Сарумана. Кузницы и прочие мастерские располагались под землёй. Примерно в это же время в Мордоре был вновь отстроен Барад-Дур.

В 3019 г., после того, как Саруман потерпел поражение в войне с Роханом, энты затопили внутреннее пространство водами Изена, а затем разрушили кольцевую стену. Ортханк разрушить не удалось. Договорившись с главой энтов Древобородом, Саруман покинул башню, отдав ключи от неё, которые были затем переданы Арагорну. Впоследствии Арагорн передал всю долину, кроме Ортханка, в ведение энтов с условием присматривать за башней. Затем на месте Изенгарда был разбит сад, через который протекала река, впадая в озеро, окружавшее Ортханк.