4. Rechtsoverwegingen:
4.1 Ingevolge artikel 6.16, aanhef en onderdeel a, van de Wet inkomstenbelasting 2001 zijn buitengewone uitgaven de uitgaven wegens – voor zover hier van belang – ziekte en invaliditeit van de belastingplichtige. Als uitgaven wegens ziekte en invaliditeit worden aangemerkt de daarmee verband houdende uitgaven voor genees- en heelkundige hulp, met inbegrip van vervoer, aldus het bepaalde in artikel 6.17, eerste lid, aanhef en onderdeel a, van de Wet inkomstenbelasting 2001.
4.2 Naar het oordeel van het hof houdt het vervoer van belanghebbende van en naar het fysiotherapeutisch centrum voor het doen van oefeningen aldaar geen rechtstreeks verband met het verkrijgen van genees- of heelkundige hulp. Gesteld noch gebleken is namelijk dat de oefeningen hebben plaatsgevonden onder medische controle of medische begeleiding. De door belanghebbende overgelegde verklaringen, die erop wijzen dat de oefeningen op medisch advies plaatsvinden, doen daaraan niet af. Deze verklaringen stempelen de oefeningen in het therapeutisch centrum namelijk niet tot genees- en heelkundige hulp. Ook zijn de vervoerskosten niet aan te merken als kosten ter zake van regelmatig ziekenbezoek.
4.3 Volgens vaste rechtspraak moet voor de beantwoording van de vraag of en in hoeverre de kosten van een in verband met ziekte en/of invaliditeit gehouden auto kunnen worden gerangschikt onder de buitengewone uitgaven ter zake van ziekte en invaliditeit als bedoeld in het onder punt 4.1 overwogene, worden bepaald of en in hoeverre de in een kalenderjaar door de zieke of gehandicapte gemaakte autokosten overtreffen hetgeen behoort tot het normale bestedingspatroon van personen die niet ziek of invalide zijn, doch overigens wat inkomen, vermogen en gezinsomstandigheden betreft, in een gelijke positie verkeren als de betrokkene. Hiertoe voert belanghebbende - op wie te dezen de bewijslast rust - niets aan, zodat het voorgaande belanghebbende geen soelaas biedt.
4.4 Belanghebbende beroept zich op het vertrouwens- en het gelijkheidsbeginsel door te stellen dat de inspectie te Almelo de reiskosten in verband met de oefeningen in het fysiotherapeutisch centrum wel als buitengewone last heeft geaccepteerd. Belanghebbende heeft ten behoeve van dit beroep een deel van zijn aangifte IB/PV over het jaar 1996 en de in 2.3 vermelde brief overgelegd. Deze stukken geven geen blijk van opgevoerde en geaccepteerde vervoerskosten in verband met de bezoeken van de oefenzaal van het fysiotherapeutisch centrum, zodat het vorenomschreven beroep op het vertrouwens- en gelijkheidsbeginsel faalt. Ten aanzien van het vertrouwensbeginsel is bovendien sprake van een andere belastingeenheid. Belanghebbende stelt eveneens dat de inspectie te Almelo jarenlang de vorenbedoelde aftrekpost heeft geaccepteerd. Voor zover hij bedoelt te stellen dat die inspectie de aangiften IB/PV met de in geschil zijnde aftrekpost jarenlang heeft gevolgd, merkt het hof op dat het volgen van de aangifte slechts in bijzondere omstandigheden tot gevolg heeft dat er een in rechte te beschermen verrouwen ontstaat, namelijk in omstandigheden die bij belanghebbende de indruk konden wekken dat er sprake was van een bewuste standpuntbepaling. Deze omstandigheden heeft belanghebbende niet aannemelijk gemaakt. Bovendien is ook te dezen sprake van een andere belastingeenheid. Vervolgens wordt door belanghebbende gesteld dat de inspecteur te Emmen de aangiften IB/PV over de jaren 1999, 2000 en 2001 met de onderwerpelijke aftrekpost heeft goed bevonden nadat hij over die aftrekpost met betrekking tot de aangifte IB/PV over 1999 met belanghebbende heeft gesproken, dan wel heeft gecorrespondeerd. De inspecteur ontkent dat gesprekken dan wel correspondentie hebben plaatsgevonden. Belanghebbende noemt noch namen van de personen met wie hij gesproken heeft noch legt hij de betreffende correspondentie over. Naar het oordeel van het hof maakt belanghebbende, tegenover de gemotiveerde betwisting van de inspecteur, niet aannemelijk dat er sprake was van handelingen van de zijde van de onderhavige inspecteur, die bij belanghebbende een rechtens te honoreren vertrouwen hebben kunnen wekken. Een algemene inlichting, gegeven door de belastingdienst op het ouderenspreekuur, leidt evenmin tot een rechtens te beschermen vertrouwen, nu niet vaststaat dat belanghebbende afgaande op die inlichting een handeling heeft verricht of nagelaten, ten gevolge waarvan hij niet alleen de wettelijke verschuldigde belasting heeft te betalen, maar bovendien schade lijdt.
4.5 Het voorgaande leidt tot de slotsom dat belanghebbendes beroep geen doel treft.