Почему личное жилье считают вторым и начисляют налог?

Есть совместно нажитая квартира с женой. Оформляли ее на мое имя, т.к я работал официально, чтобы получить налоговый вычет. Далее в браке, я получил другую квартиру в наследство.

Сейчас срок владения квартирой купленной в браке, составляет 4 года, мы хотим ее продать. По закону, на совместно нажитое единственное жилье, распространяется срок владения 3 года. Мне в налоговой говорят, что так как квартира оформлена на меня и у меня есть квартира в наследстве, единственным жильем, она уже не считается. То есть я буду должен заплатить все равно налог, после продажи.

Так ли это? А вот если бы она была оформлена на жену, то налог платить не нужно. Есть ли какой то выход из данной ситуации?