Como seguramente os podréis imaginar, wordpress es algo más que una colección de archivos. De hecho, es un sistema mucho más complejo de lo que puedes sospechar.
Para responder a la pregunta, te diré que, fundamentalmente dos cosas son imprescindibles: los ficheros almacenados en el directorio de theme y la base de datos.
Para la primera cuestión basta con contar con un protocolo de transferencias de archivos FTP. Mi consejo en FileZilla. En mi opinión, es uno de los mejores tanto por la sencillez de uso como por su eficacia. Realmente lo que estás haciendo aquí es recuperar la plantilla que usas.
Ahora bien, la segunda parte seguro es la más crítica. Tienes que rescatar los contenidos de tu página web. Si no lo haces, solo tendrás un cascarón vacío. Efectivamente, has adivinado que todos los textos e imágenes se encuentran almacenados en la base datos.
Para exportarla puedes auxiliarte con uno de los muchos plugin que existen disponibles, o bien hacerlo manualmente desde phpMyAdmin. Para esto último tendrás que seleccionar la opción EXPORTAR del menú superior. En el proceso te preguntarán cuál es el método que deseas utilizar. Te aconsejo que escojas del de exportación rápida, puesto que este copia todas las tablas en formato SQL, y al fin y al cabo, eso es lo que queremos.
En otra ocasión, abordaré de forma específica que plugin usar para esta tarea.