Jan Terlouw werd geboren in Kamperveen op 15 november 1931, als oudste kind met nog twee broers en twee zusters. Hij groeide op in de Veluwse dorpen Garderen en Wezep, waar zijn vader Gereformeerde Bonds-predikant was.Tijdens de Tweede Wereldoorlog verbleef Terlouw in Wezep, een periode die een grote invloed op Terlouw zijn persoonlijkheid heeft gehad. Hij volgde de hbs aan het Gymnasium Celeanum in Zwolle en vanaf 1946 aan het latere Marnix College in Ede, nadat hij met zijn familie naar Otterlo was verhuisd.

Terlouw begon in 1948 aan zijn studie wis- en natuurkunde aan de Universiteit Utrecht, waarin hij in 1956 zijn doctoraalexamen behaalde. Tijdens zijn studie vervulde hij zijn eerste echte bestuursfunctie, als bestuurslid van studievereniging A-E, voorloper van het huidige A-Eskwadraat. Na het vervullen van de dienstplicht deed hij van 1958 tot 1971 wetenschappelijk onderzoek. Terlouw promoveerde in 1964 op onderzoek naar kernfusie aan het FOM-Instituut voor Plasmafysica Rijnhuizen. Van 1960 tot 1962 deed Terlouw onderzoek aan het MIT in Cambridge en van 1965 tot 1966 aan het KTH in Stockholm.

Hierna werd hij actief in de politiek en ging op aandringen van zijn vrouw zijn zelfverzonnen verhalen publiceren. Hij was gemeenteraadslid in Utrecht (1970-1971) en Tweede Kamerlid (1971-1981). In het kabinet Van Agt II en III was Terlouw minister van Economische Zaken en vicepremier.

Na de Tweede Kamerverkiezingen in 1982 verliet Terlouw de Haagse politiek. Hij ging in 1983 in Parijs werken, als secretaris-generaal van de Conferentie van Europese transportministers. In 1991 werd hij benoemd tot Commissaris van de Koningin in Gelderland. Eind 1996 ging hij met pensioen. In 1999 werd Terlouw senator in de Eerste Kamer.

Terlouw is getrouwd met Alexandra van Hulst. In 1959 werd zijn oudste dochter Sanne Terlouw geboren en later kregen hij en Alexandra nog twee dochters en een zoon. Hij bewoont en bewerkt een klein landgoed in Twello