Pues en OSlib no hay de eso, pero siempre puedes usar las funciones que vienen con el SDK (pspvideocodec.h), pero están poco documentadas, así que lo mejor sería portar una librería de PC (como libdivx), y compilarla en PSP. Luego los datos que te den en el stream (datos de píxeles), lo dibujas como una imagen normal en OSLib o lo que tu uses.

Si esto te parece un poco tedioso (que lo es xD), siempre puedes optar por hacerte tu propio códec de vídeo, podrías por ejemplo sacar las imágenes del vídeo y el audio con el ffmpeg, empaquetar esos datos con algún programa que tu hagas (y haces el formato), y luego en la PSP te haces una minilibrería que gestione la carga de imágenes desde el archivo (stream) y la sincronización del audio.

Suerte, saludos!!