Régimen de visitas a mi bebé por parte de su padre

Mi ex-pareja me abandonó estando embarazada de mi bebé, durante todo el embarazo él omitió mis mensajes y correos, me bloqueó de llamadas, tuvo una nueva pareja y siempre me dijo que no quería nada con el bebé.

Cuando el niño nació los padres de él lo obligaron a que lo reconociera y le diera el apellido a mi hijo, le dije que realizar un convenio de pensión alimenticia para que ambos tuvieramos nuestras responsabilidades y obligaciones. Sin embargo, él me pone cláusulas de quererse llevar al bebé desde este momento (tiene 3 meses) durante fines de semana y vacaciones de invierno además de que el bebé conviva con su actual pareja y que el bebé puede irse con cualquier familiar de él, ya que el se fue a vivir a otro estado.

¿Existe alguna posibilidad de restringir que él se lleve al bebé debido a su edad?

¿Se puede restringir que el niño no conviva con las parejas (ni de él ni mias) por el bien psicológico del niño hasta que se contraiga matrimonio?

¿Es necesario dejar pactado desde este momento todo tipo de visitas para el bebé o se puede realizar un convenio por los primeros 4 años en lo que el niño pueda decidir si quiere irse con su padre o no?

¿De qué forma se le pueden quitar al padre los derechos sobre el bebé?