¿Me puede quitar mi esposo a mi bebé de 3 meses, si me fui de la casa?

Tengo 5 años de casada y mi pequeñita tiene apenas 3 meses, mi esposo siempre ha tenido un carácter pesado, cuando tenemos problemas el me grita, siempre le he pedido que controle su carácter, pero él me dice que yo provoco que él me grite, algunas veces me ha estrujado y aventado, antes yo sólo lloraba, pero después empecé a defenderme también gritando. Durante mi embarazo fue poco comprensivo y tierno, ahora que mi bebé nació se porta de una forma muy inmadura, y dice que por qué yo ya no lo quiero y no le pongo atención, diario son problemas, discusiones y gritos, la última vez que me aventó fue cuando decidí separarme y me fui de la casa porque yo ya le había pedido que se fuera y no lo hace, yo lo quiero y me duele sentirme así, pero simplemente veo que a él no le importa hacerme sentir así y esto no es lo que quiero para mi hija, él está muy enojado porque me fui, quiero saber si de alguna forma podría hacer algo para quitarme a mi bebé, y ¿como defenderme?