U dobi od 39 godina Joe Clark postao je najmlađi premijer Kanade 1979. godine. Fiskalni konzervativac, Joe Clark i njegovi manjinska vlada poraženi su nakon samo devet mjeseci vlasti na prijedlog nepovjerenja u proračun povećanja poreza i smanjenja programa.
Nakon gubitka izbora 1980., Joe Clark ostao je vođa opozicije. Kad je Brian Mulroney 1983. preuzeo dužnost vođe Progresivne konzervativne stranke Kanade, a potom premijera Ministar je 1984. Joe Clark nastavio kao učinkovit ministar vanjskih odnosa i ministar za ustav Poslova. Joe Clark napustio je politiku 1993. godine kako bi radio kao međunarodni poslovni savjetnik, ali se vratio kao vođa napredne konzervativne stranke od 1998. do 2003. godine.
Joe Clark započeo je svoju političku karijeru kao direktor Organizacije progresivne konzervativne stranke Alberta od 1966. do 1967. Bio je specijalni pomoćnik konzervativnog člana parlamenta Davieja Fultona 1967. godine. Bio je izvršni pomoćnik konzervativnog člana parlamenta Roberta Stanfielda od 1967. do 1970. godine.
Joe Clark prvi je put izabran u dom zajednice 1972. godine. Izabran je za vođu napredne konzervativne stranke Kanade 1976. godine, a vođa opozicije do 1979. godine. Joe Clark položio je zakletvu na mjesto premijera Kanade nakon općih izbora 1979. godine.
Konzervativna vlada poražena je 1980. godine. Joe Clark ponovno je bio vođa opozicije od 1890. do 1983. godine. Joe Clark nazvao je konvenciju o vodstvu napredne konzervativne stranke i izgubio vođstvo stranke Brianu Mulroneyu 1983. godine.
U Mulroneyovoj vladi Joe Clark bio je ministar vanjskih poslova od 1984. do 1991. godine. Bio je predsjednik tajnog vijeća i ministar nadležan za ustavna pitanja od 1991. do 1993. godine. Joe Clark nije se kandidirao na općim izborima 1993. godine.
Joe Clark vratio se kao vođa Progresivne konzervativne stranke u Kanadi 1998. godine. Ponovno je izabran u Zastupnički dom 2000. godine. Joe Clark je 2002. rekao da je vodio naprednu Konzervativnu stranku koliko je mogao. Ostavka Joea Clarka kao vođe napredne konzervativne stranke bila je na snazi na konvenciji o vodstvu u svibnju 2003. godine.