Доподлинно не известна точная дата начала строительства, и хотя Мир формально перешел к Юрию Ильиничу в 1486г., однако вряд ли оно началось ранее чем в 1522 году — именно в это время владелец здешних мест Юрий Ильинич урегулировал свои имущественные отношения с Литавором Хрептовичем. На первом этапе строительства, продолжавшемся около 4 лет (предположительно 1522—1526 гг.) были возведены 4 башни, соединенные стенами, длина которых составляет по 75 м. Таким образом, внешний вид замка представляет собой квадрат.