Det finns två huvudsakliga grafikformat: bildpunkt och vektor. GIMP kan bara användas med bildpunktsgrafik, vilket är det vanliga formatet för foton och skannade bilder. Bildpunktsgrafik består av små färgblock som tillsammans bildar själva bilden. Detta kan göra att bildfilerna blir mycket stora. Det går inte att öka storleken på en bildpunktsbild utan att kvaliteten försämras.
Till skillnad mot bildpunktsgrafik sparas inte information om alla enskilda bildpunkter i vektorgrafik. I stället lagras information om hur punkter, linjer och områden i bilden är grupperade. Det går också bra att skalförändra vektorgrafik. Det här formatet används t.ex. i Inkscape och ritprogrammet i OpenOffice.org.