Крепость в Каменеце-Подольском впервые упоминается в 1374 году в грамоте князя Юрия Кориатовича (одного из 4 братьев Кориатовичей, которые владели Подольем). В то время башни и стены были уже каменными и частично деревянными. Крепость находилась у входа в город, к которому вел узкий 9-метровый перешеек, и была его надёжной защитой (город располагался в петле речки Смотрич). Именно при Кориатовичах город стал столицей края (и удельного княжества), а крепость стратегическим оборонным пунктом.

В XV в. край был захвачен поляками. Польские князья Бучацкие выманили литовского воеводу Довгерда на переговоры и, пленив его, захватили Каменецкую крепость и контроль над городом. Позже они продали его королю, и Каменец-Подольский стал центром воеводства, важным пограничным форпостом обороны Речи Посполитой, крайним бастионом христианства. По описи 1492 года замок состоял из башен и каменных стен с двумя воротами на юг и север. Примыкавший к замку двор был обнесён деревянной стеной с обустроеными в ней клетями. В середине XVI в. все деревянные укрепление крепости под руководством зодчего Иова Брейтфуса были заменены каменными. С этого времени замок приобрёл свой современный вид. Крепость является вытянутой формы многоугольником. Она обнесена высокими стенами с башнями на каждом углу. Слева от восточных ворот находится Папская башня, за ней Колпак, Тетчинска башня, башня № 8 Ляцкая Фото таблички с башни, Дневная башня, Новая западная башня, Малая западная башня, Рожанка, Комендантская башня, Башня Лянцкоронская, Черная башня (фундамент), Новая восточная. Около речки находится башня Водная.

В 1672 году город Каменец-Подольский захватила турецкая армия. С тех пор замковый мост начали называть турецким. В конце XVII века замок вернулся Польше, а немного позже при распаде Польши отошел к России. В XIX веке Каменец-Подольский замок утратил военное значение. В 1928 году крепость стала республиканским заповедником, а в 1937 году в ней был организован музей-заповедник. На данный момент вместе с кафедральным костёлом и городской ратушей относится к главным достопримечательностям города.
2 августа 2011 года из-за неблагоприятных погодных условий Новая западная башня была частично разрушена.