Olimpijske igre 1976. bile su narušene bojkotom i optužbama o drogama. Prije olimpijskih igara ragbi reprezentacija Novog Zelanda obišla je Južnu Afriku (još uvijek je zagušljiva aparthejd) i igrao protiv njih. Zbog toga je veći dio ostatka Afrike zaprijetio MOO-u da će Novom Zelandu zabraniti Olimpijske igre ili će bojkotirati Igre. Budući da MOK nije imao kontrolu nad igranjem ragbija, IOC je pokušao uvjeriti Afrikance da ne koriste Olimpijske igre kao odmazdu. Na kraju je 26 afričkih zemalja bojkotiralo Igre. Također, Tajvan je bio isključen iz Igara kada ih Kanada ne bi priznala kao Republiku Kinu.
Navodi na droge bili su rasprostranjeni na ovim Olimpijadama. Iako većina navoda nije dokazana, mnogi sportaši, posebno plivači Istočne Njemačke, optuženi su za korištenje anaboličkih steroida. Kad je Shirley Babashoff (Sjedinjene Države) optužila suparnice da koristi anaboličke steroide zbog njihove velike mišiće i duboke glasove, službenik iz istočnonjemačke ekipe odgovorio je: "Došli su plivati, ne da pjevati."
Igre su također bile financijska katastrofa za Quebec. Otkad su Quebec gradili, gradili i gradili za Igre, potrošili su ogromne cifre od dvije milijarde dolara, desetljećima ih zadužujući u dugove. Pozitivnije je što su ove Olimpijske igre doživjele uspon rumunjske gimnastičarke Nadije Comaneci koja je osvojila tri zlatne medalje. Sudjelovalo je oko 6 000 sportaša koji su predstavljali 88 zemalja.