Lo primero que hay que hacer es descargar el PSPDev. Lo instalas teniendo precaucion en:
1º Instalarlo en la raiz del disco donde tengamos Windows
2º El nombre de la carpeta no puede tener espacios, por ejemplo: C:/PSPDev (Si C: es la unidad donde tenemos Windows)
3º Cuando pregunte por las variables de entorno le damos a la primera opcion (definir para todos los usuarios).
4º Hay que añadir el path en windows: en MiPc con el botón derecho, opciones avanzadas, variables de entorno, en la varible PATH (si no existe, aunque es raro, la creas en nuevo) añades al final ";C:/PSPDev/bin" (SIN LAS COMILLAS). Pones una variable nueva con el nombre PSPSDK con valor "C:/PSPDev/psp/sdk" y otra con nombre PSPDEV con valor "C:/PSPDev".
5º Busca si tienes la libreria Cygwin1.dll y la actualizas por esta version 1005.19.0.0 y SDL.dll por esta otra 1.2.8.0 (Todas las que tengas, para evitar problemas, si no quieres borrar las antiguas renombra con .bak), busca en google que es facil, que no voy ha hacer yo todo ;-).

Ya podemos compilar los ejemplos que trae el pspdev en C:\pspdev\psp\psp\sdk\samples ademas de los programas hechos para la consola, como por ejemplo el típico Hola mundo. ¿Como?, pues muy facil: dentro de la carpeta donde esta el Makefile y el main.c creas un archivo de texto y lo renombras como compilar.cmd (ojo, no vale el nombre make.cmd). Editas este archivo y escribes make en la primera línea y pause en la segunda (Esto es opcional, solo vale para que no se cierre sola la consola y poder ver lo que hace el gcc, como por ejemplo los warning). Si todo va bien ya tienes, entre otras cosas, el EBOOT.PBP para version 1.0 (que con pspbrew se puede pasar a v. 1.50).

Añadiendo las librerias para entorno grafico:
1º Con este archivo se añaden algunas de las librerias que faltan (SDL, SDL_Mixer, PSPGL, LibBulletMl, LibTremor, Jpeg, libpsp2d, libpng, libmad, zlib y libmikmod). Ya podemos compilar programas hechos en entorno gráfico, de la misma forma que antes: en una carpeta ponemos el main.c y el makefile, creamos el .cmd igual que antes y listo.
2º A mi me gusta mucho la OSLib, con ella el manejo de imagenes y sprites en 2D en muy sencillo, ademas de sonido. Se descarga de aqui (en la carpeta Doc esta la informacion necesaria para utilizar OSLib en tus programas), como el Install.bat que viene puede dar problemas instalalo así:
Copia libosl.a, libz.a, libpng.a en C:/pspdev/psp/sdk/lib. Y mkdir, audio.h, oslib.h, text.h, vfpu.h, vfu_ops.h y usb.h en C:/pspdev/psp/sdk/include/oslib. Tienes codigos de ejemplo con OSLib aqui y aqui (este último es muy bueno). Para compilarlo igual que antes, pero con el makefile que traen los ejemplos, ya que tiene algunas cosas más que los de antes.

Con estos sencillos pasos ya solo puedes tener problemas con el makefile, que tiene cierta complejidad, observa los que vienen en los ejemplos y así puedes ir cogiendole el rollo.

PD: Con devkitPSP_r9-win32.exe se añade la version mas reciente del PSP sdk.
PD2: Para los que digais que es mejor Cygwin y toolchain, añado que el compilador que utiliza es el mismo que PSPDev, por lo que el source que compilas con uno deberías poder compilarlo con el otro.

Que tengas suerte y a programar. Salu2 POPITO.