Alfons Rappo wurde am 7. April 1943 als ältestes von vier Kindern des Alois und der Therese Rappo-Piller geboren. Er wuchs in Überstorf auf, ehe die Familie 1949 ins Eigenheim in Berg, Schmitten, zog. Dort erlebte Alfons mit seinen Geschwistern eine glückliche Kindheit und Jugendzeit.
Die Primarschule besuchte er in Schmitten, die Sekundarschule in Tafers. Während den Schulferien konnte die Familie Gasser aus Überstorf jeweils auf seine tatkräftige Mithilfe auf dem Bauernhof zählen.