北京胡同的名字成因复杂，有人物、官署、寺庙、河渠、桥梁、府邸、仓储、作坊、树木、动物、地貌、方位、房舍、苑囿、家居、生活等数十种，不乏因地标建筑得名的胡同。地标建筑又种类繁多，其中有一些包含了特殊的物件，像门楼、石磨、水井、碾子、石碑等。什刹海银锭桥北侧的大、小石碑胡同就属于这一类。
在北京城以“石碑”得名的胡同很多，像位于平安里的石碑胡同（即育德胡同前身）、位于西长安街南侧的石碑胡同、位于西直门内大街北侧的石碑大院等。另外《京师坊巷志稿》和《燕都丛考》中还记有“贤孝碑”的胡同名。虽然这些胡同以“石碑”得名，但由于史料上对这些胡同的成因，尤其是对“石碑”着墨不多，让后来研究北京胡同的学者产生了一些困惑。大、小石碑胡同就是这种情况，1990年的《北京市西城区地名志》仅记载为“清代称石碑胡同，为正黄旗地界。1911年后析出大、小石碑两条胡同。”
现在的大石碑胡同呈东西弯曲走向，全长261米，均宽3.5米，东端与烟袋斜街相连，北端通向鼓楼西大街。小石碑胡同为南北斜形走向，全长80米，均宽2.5米，南端为银锭桥北，北端为大石碑胡同，中部与烟袋斜街和鸦儿胡同相互衔接。
从逻辑上分析，大、小石碑名字的起因和附近的石碑有着密不可分的关系。而石碑一般都立在寺庙里，哪座寺庙里的石碑和这两条胡同有关呢？
从民国时期的老地图上看，大、小石碑胡同附近寺庙很多，像广福观、广化寺、三元伏魔宫、三财龙王庙、白衣庵、火神庙、海潮庵、清虚观、汤氏家庙、槐宝庵、华北协和修道院……在这些寺庙中，广化寺、广福观等几个规模较大的寺庙里都立有石碑。有的人认为这座石碑来自始建于元代的广化寺，里面有块明万历年间立的《重修广化寺碑》，碑文上记有“都城西北隅有巨浸曰什刹海，以环海有丛林十故名。广化寺者十刹之一”，该文字被专家们认定为“十刹之说”的文字见证。
也有人认为是指建于明天顺年间的广福观内的石碑。因为这个道观曾是道录司办公之所，是国家级管理道教事务的部门所在地。观里有明成化年间立的《诰命道士孙道玉御制文碑》和《广福观改建神路碑》。民间还有这样一个说法，大、小石碑之名可能来源于鼓楼西大街瑞应寺里康熙五十二年（1713年）立的康熙皇帝御制诗碑。
但真正与大、小石碑有关的是原协和修道院里明崇祯皇帝的《赐曹化淳御笔草书碑》。据《燕都丛考》引《骨董琐记》记载，“德胜门大街大石碑胡同协和修道院，故广化寺也，有明毅宗赐曹化淳御笔草书碑，高丈余，字径五六寸，笔势挺秀，文曰‘明理纪实，心领神会，五韵精严，八法清贵。周旋于规矩之中，超越乎万象之外。有以似其人乎？然也，若止于笔，文焉则未，司礼掌印化淳，有作辄佳，特赐。崇祯戊寅八月谷旦’。”碑额上镌有“敬天法祖亲贤爱民之宝”。据考证，此碑高2.71米、宽1.06米，碑额高0.24米、宽0.2米。左右还有两碑，“皆镌所属赐御札”。据专家考证，这两座石碑分别为《奖敕曹化淳碑》和《奖谕曹化淳碑》。
曹化淳在明末可是个重要人物。崇祯元年（1628年）朱由检继皇帝位后，太监曹化淳被委以重任。他负责处理魏忠贤制造的冤假错案，平反昭雪两千余冤案。因办事得力，深得崇祯皇帝信任和倚重。崇祯十一年（1638年）任司礼秉笔太监、东厂提督、总提督京营戎政的曹化淳因病乞准告假荣归故里，崇祯皇帝亲自为曹化淳树碑立传。崇祯皇帝做事谨慎，为重臣题写碑文实属罕见。更为珍贵的是崇祯皇帝御制草书碑存世仅有两处，一处为与大、小石碑有关的《明毅宗赐曹化淳御笔草书碑》，另一处在湖北襄阳市，为崇祯十三年（1640年）所立的《赐杨嗣昌出师碑》。在《石遗室诗话》中的《广化寺》一诗，对这座石碑有这样的评述：“千金筑馆辟蒿莱，却锁重门未忍开。湖上清光余几许，春来风信又多回。事经变幻忘初意，士失雕镌定不才。此局废兴争属目，宁论吾彼寸心灰。”
