Нет, здания уничтожены не будут и вообще никак не пострадают. В случае неудачной обороны ты потеряешь только некоторое количество войск и ресурсов (тем большее, чем сильнее был отряд противника).
Помни, что есть одно особое здание - Идол Веора. Идол дает тебе прирост к добыче ресурсов - тем больший, чем выше уровень Идола. Но если на твой замок успешно нападут, то есть ограбят или возьмут в осаду, магия развеется, и Идол Веора снова станет 1-го уровня, а тебе придется улучшать эту постройку с самого начала.