胥吏问题是晚清吏治的一大顽症。它严重危害百姓，影响政府行政效率，恶化官民关系，败坏官府形象。对于胥吏之害，清朝有识之士多有论述，而且还提出了一些改革设想。
改变胥吏结构，提高胥吏素质
自唐以来，吏就是低贱的一类，唐朝规定如果担任过州府小吏的，不得申送进士，与不守礼教品德有亏者一例看待，明太祖更明确规定，胥吏心术已坏，不许参加科举考试。到了清代，吏的流品更贱，权势更贵。
冯桂芬认为，吏之流品如此低下，并不是自古皆然，而是有个演变过程。在西周时候，吏与士同列，并非贱役。汉武帝时，官署中的属吏卒史皆用通一艺以上者，其流品也还不差。唐代以后，吏中也有人通经，元代也有吏做到大官的。明代中叶以后，开始不用贱吏，吏的地位开始低下。
对于吏，既不能不用，其流品又那么低贱，怎么办？冯桂芬主张，变革之法，可以减少吏务，现行案牍减去大半，有些事情并入幕僚工作，而名之曰幕职，同时给以入仕之途，不得以游闲之人为之，由郡县学山长择诸生中有才有行、而文学中平、历三试不中试者，送郡县充选，兼准应试。如果九年无过，叙丞簿官候选，始脱试籍。丞侔佐贰等官，于郡县分聘一人，大吏及部院皆由郡县择其特别优秀者为之。
对于改善胥吏结构、防止胥吏舞弊，郑观应认为需从两方面入手，一是改善胥吏素质，二是提高司员业务能力。对于改善胥吏素质，应借鉴西方严格律师资格的做法，将律例专设一科，每年一考，列前茅者仍须察其品行，然后准充书吏，锡以虚衔，厚其薪资。倘有颟顸不堪任事者，立予斥革；若其办事勤能，持躬廉谨，则期满之日，本官加结保举，然后录用。对于提高司员业务能力，要严定章程，让他们熟悉律例。
删削、精简则例，以杜胥吏舞弊之门
冯桂芬指出，在当时官场中，存在着许多完全不合情理的规章制度，极大地影响行政效率，亟应废除。以吏部而言，对于官员丁忧服阕，按理说，只需稽核月日，看其何时丁忧即知其何时应当服阕，现在呢，不相信命官自己的说法，而要丁忧之人的里邻出具证明；对于本官身至之不信，仍待之置驿之文。
