Майже 70 років костел виконував свою головну місію – був місцем для молитов та церковних подій. Але коли на Поділля прийшли татари та турки, доля будівлі змінилася, було багато руйнувань, пожеж. Цікаво, що наприкінці свого правління турки використали будівлю за її призначенням та облаштували у ній мечеть. Після того, як завойовники пішли, багато будівель знищив вогонь, на жаль, костел Пресвятої Трійці також був серед втрат.
Вже у 1728 році відновлену будівлю освятили, але на цей раз будівлю запланували та звели з каміння, а архітектурний стиль, обраний майстрами, нагадує тосканське бароко. Надалі будівля довгий час мала чудовий вигляд, використовувалася за призначенням, але прийшла радянська доба… На початку 30-х років 20 століття у приміщеннях церкви облаштували кімнати для зберігання зерна, пізніше частину будівлі зайняли ковалі.
Дивно, але німці, що прийшли завойовниками на ці землі, відновили роботу костелу. У період окупації (з 1941 до 1943 року) будівля повернула собі велике церковне значення, і вже з тих часів служби тут не припиняються. На початку 70-х років сталася визначна подія – у костелі було встановлено орган, привезений з Риги. Сьогодні ця будівля являє собою не тільки церковну, але й архітектурну окрасу міста Хмільник.