A rómaiak előtti korból kevés lelet maradt fenn. Londont a rómaiak alapították, mint Britannia provincia fővárosát, miután Kr. u. 43-ban Claudius császár a mai Anglia legnagyobb részét meghódította. Londinium-nak nevezték el. A név nem latin, hanem kelta eredetű, feltehetően a kelta Londinos személynévből ered. Egy másik elmélet szerint a név egy a kelta kor előtti (őseurópai) Plowonida szóból származik, ami körülbelül annyit jelent, hogy „település a széles folyó partján”. 

A Római Birodalom bukása után Londont elhagyták a rómaiak. A 7. században Egy Lundenwic nevű szász város épült nem messze a mai Aldwychtől nyugatra. A régi római város a 9. században vagy a 10. század elején népesült be újra.

Westminster egykor önálló város volt, a középkor óta az angol királyi udvar székhelye. Végül a két város egybeépült, így jött létre a mai London alapja, bár ekkor még nem volt főváros (a hampshire-i Winchester volt az a 12. századig.)

London növekedésnek indult, és a következő pár évszázadban magába olvasztotta a környező kisvárosokat és falvakat. A 16. századtól a 20. század elejéig a Brit Birodalom fővárosa volt.

1666. szeptember 2-án kezdődött el a nagy londoni tűzvész, amely a belváros nagy részét elpusztította. A tűz egy pék faházából indult el, a következő három nap folyamán több mint 13 000 ház pusztult el, köztük a St Paul Church. A város tíz év alatt újraépült. A 18. században a fejlődés felgyorsult. A 19. század elejére a világ legnagyobb városa lett.

Az önkormányzat igyekezett teljesíteni a gyors növekedés okozta követelményeket. 1855-ben alapították a Metropolitan Board of Works-t arra a célra, hogy biztosítsa a megfelelő infrastruktúrát a gyorsan növekvő városnak. 1889-ben ehelyett hozták létre London megyét, amit London megye tanácsa irányított – az első szervezet, mely egész London közigazgatását irányította.

A 20. század elején a londoniak szénnel fűtöttek, ami hatalmas füstmennyiséget okozott. Az éghajlati körülményekkel együtt ez gyakran szmogot okozott, a jól ismert „londoni köd”-öt. 1956-ban törvényt hoztak a tiszta levegőért, miután 1952. december 5. és 9. között öt napig szmog nehezedett a városra, több mint 4000 ember halálát okozva. A törvény értelmében füstmentes zónákat alakítottak ki, ahol füstöt nem okozó fűtőanyagot kell használni.

London arculatában a legnagyobb változást az elmúlt 100 évben a német bombázások okozták a II. világháború idején. A bombázás több mint 30 000 embert ölt meg, és rengeteg épületet elpusztított. Az elpusztult részek az 1950-es, 60-as és 70-es években többféle stílusban épültek újjá, ezért Londonra jellemző, hogy arculata építészetileg nem egységes.

1965-ben London megye tanácsát felváltotta Nagy-London tanácsa (Greater London Council, GLC). Több újabb település is a város része lett, a jelenlegi kerületek közül 20. A GLC-t 1986-ban eltörölték, mert összeütközésbe került a Thatcher-kormánnyal, és hatásköre átkerült az egyes kerületekhez. 2000-ben újra központosították a város feletti hatalmat, és polgármestert választottak Ken Livingstone személyében. 2008. május 4-e óta Boris Johnson Greater London polgármestere.

Az 1997-es tűzszünetig London gyakran az IRA egyik célpontja volt az észak-írországi területek feletti egyet nem értés miatt.

2005. július 7-én Londont terrortámadás érte, alig 24 órával azután, hogy London megkapta a 2012-es olimpia rendezésének jogát.