Es una función recursiva que borra los ficheros de un directorio uno a uno y se llama a sí misma cuando encuentra un directorio.

Antes que nada decir que este código lo he tecleado "sobre la marcha", no lo he probado ni compilado, así que seguramente tenga fallos, lo he hecho fijándome en la documentación del SDK sobre el manejo de ficheros http://psp.jim.sh/pspsdk-doc/group__FileIO.html

Antes de probarlo mejor sustituir los "deletes" por un "printf", no vaya a ser que la liemos

#include "sceIo.h"
 
void main() {
 
    deleteDirectory("ms0:/ejemplo/paraborrar");
}
 
void deleteDirectory(char* dir_name)
{
    int fd = sceIoDopen(dir_name);
    SceIoDirent dir;
 
    while (sceIoDread(fd, &dir)) {
        if (FIO_S_IFREG & dir.d_stat.st_mode)
            sceIoRemove(dir.d_name);            
        else {
            deleteDirectory(dir.d_name);
            sceIoRmdir(dir.d_name);
        }
    }
    sceIoDclose(fd);
    sceIoRmdir(dir_name);
}

haz que te devuelva los nombres de todos los archivos que hay dentro, los borre y por ultimo borre la carpeta

Pero creo que en cuanto a la función del header pspiofilemgr, no borrará la carpeta al menos que esta esté vacía. Intenta dejando esa carpeta vacía y ve que pasa.
En caso de que no la borre al menos que este vacía, deberás crear una función recursiva.

Un saludo.

Copiado directamente desde el tutorial de Pipagerardo:

System.removeDirectory(
path )                  -- Borra un directorio. Ejemplo:

System.removeDirectory("mesa")

Y si quisieras eliminar una carpeta dentro de ésa sería así:

System.removeDirectory(
path )                  -- Borra un directorio. Ejemplo:

System.removeDirectory("mesa/carpeta")

¿Capisci? XD Espero que te sirva!