Согласно летописи, Каменец получил свое название от каменистой почвы, на которой возникло поселение. В X- XII вв. на этом месте по приказу волынского князя Владимира Васильковича в 1276 г. «градоруб» Алекса вместе с местными жителями основал новое — укрепленное. Его обороной кроме рва и вала, служил 30-метровый каменный столп (Каменецкая башня. Белая вежа) — уникальный памятник оборонительного зодчества конца XIII в.
В 1289 г. Каменец захватил, а потом полностью разрушил дрогичинский князь Юрий Львович. С 1366 г. Каменец в Великом княжестве Литовском. Принадлежал Кейстуту, с 1388 г. князю Янушу Мазовецкому, в 1384 г. и с 1392 г. — князю Витовту. На Каменец трижды нападали крестоносцы. В 1375 г. они захватили много пленных в его окрестностях и сожгли город. На протяжении почти столетия Каменец служил опорным пунктом в вооруженных столкновениях между Литовским государством и Польшей. Отсюда, а также из Бреста и Гродно Витовт делал набеги на владения Ягайло. Это привело к тому, что в 1390 г. войска Ягайло захватили Каменец, где состоялись мирные переговоры между князьями. Здесь же в 1409 г. Ягайло принимал посла папы римского. В 1413 г. Каменец стал центром уезда сначала в составе Трокского, с 1520 г. — Подляшского, с 1566 г. — Берестейского (Брестского) воеводств. К 1506 г. Каменец получил магдебургское право и владел им до 1776 г. В письменных источниках XVI в. есть сведения о гербе города.
С 1596 г., когда столица Речи Посполитой была перенесена из Кракова в Варшаву и новый торгово-экономический путь между Варшавой и Вильно обошел Каменец, город постепенно утратил свое политическое и экономическое значение. Одной из причин его экономического упадка являлись частые войны. Город был разрушен в русско-польскую войну 1654—1667 гг. В конце XVIII в. в Каменце еще стоял деревянный замок, владельцем которого был кухмистер великолитовскии, известный политик и дипломат М.Вельгорский. В это же время действовала мануфактура Радзивиллов.