Hay que diferenciar entre los .h y las bibliotecas. Un .h es simplemente un fichero de cabecera donde definimos cosas, que pueden estar implementadas en una biblioteca, o no. stdio.h no tiene porque tener su propia biblioteca libstdio, puede ser parte de una biblioteca mayor (en este caso creo que sería libc, una biblioteca con funciones de C estandar http://www.delorie.com/djgpp/doc/libc/libc_624.html). Es decir, por un lado tienes el .h que le dice al compilador la forma que tienen las funciones, y por otro la biblioteca que implementa dichas funciones y que se une al programa en la fase de enlazado del compilador (o incluso en ejecución si es una dll. Libc es la biblioteca más básica de C. Si no tienes Libc, "apaga y vamonos", pero casi seguro que la tienes.