Lo primero que debes de pensar es el algoritmo que vas a utilizar para saber si un punto está dentro del polígono :/

Lo lógico sería tener un conjunto con todos los puntos posibles (480x272 en este caso) y otro conjunto con los puntos situados dentro del polígono (que serán calculados mediante el algoritmo). De esta manera podrás comparar si un punto está contenido en el segundo conjunto o no (si está dentro del polígono o no) ;)

Para diseñar el algoritmo (si, te voy a ayudar pero no te voy a hacer el trabajo sucio :p) también deberás de indicar al algoritmo (o función) cuantos vértices tiene este y su posición (para cada vértice será un punto del primer conjunto). Ten en cuenta que los vértices normalmente deberían ser considerados del segundo conjunto (puntos contenidos).

Con eso debería servirte :D

Te iba a decir lo de los círculos jeje, es que cualquier otro metodo usa for, y ya sabes que es lento para esas cosas luadev, pero bueno, si alguien lo hace en c, ahí está el código con los for también.

Saludos

Esto ya es algo más complejo.

He encontrado este código C, será fácil portarlo:

int pnpoly(int npol, float *xp, float *yp, float x, float y)
{
  int i, j, c = 0;
  for (i = 0, j = npol-1; i < npol; j = i++) {
    if ((((yp[i] <= y) && (y < yp[j])) ||
         ((yp[j] <= y) && (y < yp[i]))) &&
        (x < (xp[j] - xp[i]) * (y - yp[i]) / (yp[j] - yp[i]) + xp[i]))
      c = !c;
  }
  return c;
}