Люблю, но в обиду себя больше не дам

Мне изменял муж 1.5 года со своей бывшей женой, постоянно врал, что работа, домой не приходил ночевать, бывало, что на неделю пропадал. Я терпела, потому что на руках грудной ребёнок, сейчас мы не вместе, я собрала свои вещи и ушла от него после его очередного недельного пропадания. Он сказал, что ему семья не нужна, а любит ребёнка. Что жил неделю у бывшей жены – сам подтвердил, предложил начать всё сначала, но я ему уже не верю, т.к. давала неоднократно шанс, потом через месяц-другой он снова не ночевал дома и придумывал разные причины, говорил, что любит меня и дочку.

Я сейчас живу с ребёнком у родителей уже 3 недели, а он у своей бывшей жены. На мои просьбы принести ребёнку памперсы отвечал: «Раз сама ушла, так сама и корми, ребёнок не только мой, но и твой», ни разу к нам пришёл за это время. Он постоянно меня обвинял в том, что я скандальная, и ему не хочется идти домой, но я ему говорила не раз: «А как мне к тебе после такого поведения относиться хорошо? У тебя лежит в борсетке ключ от квартиры бывшей жены, зачем он тебе, если у вас только дружеские отношения, как ты утверждаешь?». Он отшучивался и ключ не отдал. Однажды была у нас очередная ссора на грани развода, он извинялся, ключ отдал, помирились, а потом снова стал врать и не приходить домой.

Подскажите, как мне дальше поступить? Его люблю, но терпеть дальше и себя обижать не дам, жалко дочь – будет расти без отца. Мне 28, ему 40.