Para la versión de joomla que entiendo es joomla 2.5 por donde lo has publicado, debes ir a Extensiones / Gestor de extensiones y ahí veras la opción Gestionar. Buscas el componente, lo señalas y arriba a la derecha tienes el boton desinstalar. Deberia bastar con eso.
Otra cosa es eliminar las tablas de la base de datos, que desconozco el nombre de las mismas, aunque si accedes desde tu Phpmyadmin a la base de datos, no creo que te sea complicado encontrarlas para borrarlas.
SIEMPRE haz una copia de seguridad antes de proceder.