Seine Karriere im Radsport begann er als 19-Jähriger im Jahr 1954. In der Region Gelderland gewann Ab – so hat man ihm immer genannt – das Rennen in Ochten als Amateur und erregte somit erstmalig Aufmerksamkeit. Fortan schrieb er Rennsportgeschichte.
Nach weiteren Radrennen als Amateur folgten 1957 drei Siege während der niederländischen Meisterschaft im Verfolgungsfahren über 4000 Meter und der zweite Platz im Gesamtklassement.
Nur kurz darauf konnte Gelderman seinen größten Erfolg im Bereich der Amateur feiern. Im belgischen Rocourt fand vom 10. August bis zum 15. August die UCI-Bahn-Weltmeisterschaft statt. In der Disziplin Einerverfolgung über 4000 Meter wurde Gelderman im Gesamtklassement Dritter.
Nur ein Jahr später nahm er erfolgreich an der Polen-Rundfahrt teil, das wichtigste Radsportrennen in Polen. Er gewann eine Etappe der Rundfahrt 1958 und belegt in der Gesamtwertung einen guten siebten Platz. 1959 folgten drei Siege bei Straßenrennen der Amateure.
Ein ausschlaggebendes Ereignis für die spätere Laufbahn von Ab Geldermans war die Internationale Friedensfahrt 1959. Das Radrennen wurde vom 2. bis 16. Mai ausgetragen und führte von Ost-Berlin über die tschechische Hauptstadt Prag in die polnische Hauptstadt Warschau.
Gelderman schaffte einen zweiten Platz im Einzelzeitfahren und wurde Gesamtvierter bei diesem Radrennen. Daraufhin wurde er Berufsfahrer.
1960 ging es erstmalig als Profi in die Radrennsaison und konnte direkt überzeugen. So gewann er die Internationale Afri-Cola Deutschland-Rundfahrt mit einem Vorsprung von 1:50 Minuten und ergatterte dabei einen Etappensieg am 30.04.
1960 auf der 217 kilometerlangen Etappe von Münster nach Brackwede. Noch im gleichen Jahr gewann Geldermans als erster Niederländer den Radrennklassiker Lüttich-Bastogne-Lüttich, auch La Doyenne genannt.
Im Jahr darauf gewann Geldermans das viertägige Straßenradrennen 4 Jours de Dunkerque („Vier Tage von Dünkirchen“) und 1962 wurde Geldermans niederländischer Straßenmeister als auch Meister im Einzelzeitfahren.
Darüber hinaus gelang ihm bei der 17. Spanienrundfahrt, Vuelta a España, ein Etappensieg auf der Strecke von Valdepensa nach Madrid. Im Gesamtklassement belegte er den zehnten Platz. Bis 1964 war Ab Geldermans Teil des französischen Radsportteams St. Raphael und bis 1965 fuhr er im Trikot von Margnat-Paloma.
Nur ein Jahr später fuhr er für den italienischen Rennstall Molteni, in dessen Trikot er einen Etappensieg beim Straßenradrennen Paris-Nizza einfuhr.
Zu guter Letzt nahm er 1966 zum siebten und letzten Mal an der Tour de France teil. Große Erfolge bei der Tour de France blieben ihm jedoch verwehrt.
Als Domestike unterstützte Geldermans den fünffachen Gesamtsieger Jacques Anquetil bei seinen großen Erfolgen und zudem fuhr er an der Seite des deutschen Radrennfahrers und Welstermeisters im Straßenrennen Rudi Altig (1937 – 2016).
1962 trug Geldermans zwei Tage lang das Trikot des Gesamtführenden der Tour de France. Im selbigen Jahr wurde er im Gesamtklassement fünfter, sein größter Erfolg bei der Tour de France.
Nach seiner aktiven Laufbahn im Radrennsport eröffnete Ab Geldermans zusammen mit seiner Ehefrau ein Sportgeschäft in seinem niederländischen Heimatort Beverwijk.
Dennoch war er als sportlicher Leiter des niederländischen Nationalteams weiterhin im Radsport aktiv. Als Sportdirektor nahm er bei der Tour de France 1968 teil und betreute den Radsportprofi Jan Janssen (* 1940). Dieser galt als bester Radrennfahrer der 1960er Jahre und gewann 1968 die 58. Tour de France unter der sportlichen Leitung von Ab Geldermans.