北京胡同的名字成因复杂，有人物、官署、寺庙、河渠、桥梁、府邸、仓储、作坊、树木、动物、地貌、方位、房舍、苑囿、家居、生活等数十种，不乏因地标建筑得名的胡同。地标建筑又种类繁多，其中有一些包含了特殊的物件，像门楼、石磨、水井、碾子、石碑等。什刹海银锭桥北侧的大、小石碑胡同就属于这一类。
在北京城以“石碑”得名的胡同很多，像位于平安里的石碑胡同（即育德胡同前身）、位于西长安街南侧的石碑胡同、位于西直门内大街北侧的石碑大院等。另外《京师坊巷志稿》和《燕都丛考》中还记有“贤孝碑”的胡同名。虽然这些胡同以“石碑”得名，但由于史料上对这些胡同的成因，尤其是对“石碑”着墨不多，让后来研究北京胡同的学者产生了一些困惑。大、小石碑胡同就是这种情况，1990年的《北京市西城区地名志》仅记载为“清代称石碑胡同，为正黄旗地界。1911年后析出大、小石碑两条胡同。”
现在的大石碑胡同呈东西弯曲走向，全长261米，均宽3.5米，东端与烟袋斜街相连，北端通向鼓楼西大街。小石碑胡同为南北斜形走向，全长80米，均宽2.5米，南端为银锭桥北，北端为大石碑胡同，中部与烟袋斜街和鸦儿胡同相互衔接。
从逻辑上分析，大、小石碑名字的起因和附近的石碑有着密不可分的关系。而石碑一般都立在寺庙里，哪座寺庙里的石碑和这两条胡同有关呢？
从民国时期的老地图上看，大、小石碑胡同附近寺庙很多，像广福观、广化寺、三元伏魔宫、三财龙王庙、白衣庵、火神庙、海潮庵、清虚观、汤氏家庙、槐宝庵、华北协和修道院……在这些寺庙中，广化寺、广福观等几个规模较大的寺庙里都立有石碑。有的人认为这座石碑来自始建于元代的广化寺，里面有块明万历年间立的《重修广化寺碑》，碑文上记有“都城西北隅有巨浸曰什刹海，以环海有丛林十故名。广化寺者十刹之一”，该文字被专家们认定为“十刹之说”的文字见证。
