Původní bazilika byla postavena za císaře Konstantina I. Velikého na místě, kde byl podle tradice pohřben po svém umučení sv. Petr a kde stála již v polovině 2. století memoria (modlitební prostor kolem apoštolova hrobu), kam putovali křesťané. Tehdy to bylo za městskými hradbami Říma. Stavba byla zahájena roku 324, roku 329 byla bazilika vysvěcena papežem Silvestrem I.. V dalších stoletích se chrám opravoval a zdobil. V letech 390–395 byla vystavěna jižně od příčné lodi hrobka císaře Theodosia I. a obou jeho manželek.
V tehdejší době nesídlili papeži ještě ve Vatikánu, ale ve svém paláci v Lateránu. Teprve papež Symmachus přesídlil kolem roku 500 do Vatikánu a nechal u baziliky postavit své sídlo. V dalších stoletích se obytné stavby kolem baziliky dále rozrůstaly.
25. prosince 800 korunoval papež Lev III. během vánoční mše v bazilice sv. Petra franského krále Karla Velikého císařem. Při příchodu na svoji korunovaci do chrámu poklekali budoucí císařové na velký tmavěčervený kámen kulatého tvaru, který je dodnes umístěn v podlaze nedaleko vchodu.
Roku 847 zachvátil baziliku požár, takže musela být znovu vyzdobena. Tehdy papež znovu přenesl své sídlo do Lateránu.
Ve 13. století získala bazilika gotickou podobu. Vatikán tehdy začal mít pevnostní charakter, neboť papežové tu zřejmě chtěli mít útočiště v dobách ohrožení. V podstatě však tato stavba ve vrcholném středověku dost zchátrala, především v době avignonského zajetí ve 14. století. Proto vydal roku 1451 papež Mikuláš V. dekret na výstavbu nového chrámu sv. Petra.
