Que acción legal puedo tomar para NO ponerle el apellido del papá a mi hija

Hola!
Soy colombiana
El papá de mi hija no estuvo presente en el embarazo y se fue del país cuando tenía 6 meses de gestación. Cuando mi hija nació él no se encontraba en el país, así que la registre sólo con mis apellidos. Él volvió al país y desea ponerle el apellido de él a mi hija, pero no quiere hacerse responsable de nada, ya que no estamos juntos.
Yo no quiero ponerle los apellidos de él, porque no sirve para nada, y sí tendría el derecho de llevársela si quiere.
Él me cito a una conciliación para ver lo de los apellidos, y yo quiero saber que puedo hacer legalmente para negarselo, aunque sólo negarle los apellidos, mas no el ver y estar con la niña bajo supervision.