el devkit usa las librerías SDL, y esas librerías están efocadas a 2D, para tirar de 3D, tendrás que usar algo más serio. Realmente no sé si hay algo para psp que te pueda facilitar la vida, sino tendrás que tirar de opengl directamente, lo cual es muuuy jodido.

De todas formas, no sé tu nivel de programación y si ya has hecho algún homebrew de 2D, de no ser así, deja las 3D, no puedes empezar haciendo un CALL OF DUTY a la primera, se empieza con un tetris, un pong, un 3 en raya, y creeme que no es tan fácil como parece. Si te pones a hacer un tetris y no te sale... ¿Quieres intentar algo en 3D ?

Y volviendo al tema de Lua, en caso de que tuviera librerías 3D, cosa que no se, pues sinceramente, el interprete Lua es bastante potente para lo poco que ocupa, pero en el tema 3D, según el proyecto se te puede quedar corto muy pronto