Как быть, если сосед против возведения бани?

Случилась такая ситуация. При строительстве бани я начал заливать плиту 5-4 метра фундамент. Отступил от забора 1,5 м. Соседи это видели и была у нас устная договоренность.

Прошло полгода я привез и поставил сруб на этот фундамент, сосед заявил убирать, расстояние между его домом и баней — 5.5м. Посоветуйте, как поступить дальше, я слышал про стену огнеупорную, при заливке фундамента сосед был не против.