“游食”这个标签，意味着他从此游走于社会边缘，是要被人看不起的，且面临着时时被驱赶的命运。《西游记》里，乌鸡国太子就当面说唐三藏：“和尚是游手游食、削发逆君之徒。”明代小戏《和尚下山》里，小和尚委屈地说：我明明在山上开荒自食其力，可人们还是说我们和尚游手游食。也经常有官员建言，要“清僧道以杜游食”，主要是经济体量太小，怕不生产的人口太多。明太祖定律：“申明天下，四民各守其业，不许游食。”（《皇明通纪》）并规定对游食者要重罚，使之归农。
儒家官员中，对贫弱者有同情之心的占大多数。一则他们大多出身寒素，靠科举晋身仕途，对底层生活有切身的感受与同情。二是他们从小受孔孟之教，既有“达则兼济天下”的理念，又有“恻隐之心”的认同，所以对于游食，他们一般不会粗暴驱逐。比如万历时的首辅申时行，就是这种温和派作风，他写信给福建巡抚指导工作：“游食之徒持斋聚会，此当解散禁戢，概谓之妖言叛逆，则冤矣。”（《赐闲堂集·答沈练城巡抚》）就算是聚在一起的流民，他也不建议用过于峻急的手段，不要聚众生乱就好。
游食们为什么喜欢去北京？且看嘉靖三十一年九月某天，嘉靖帝与严嵩有这么一段对话：
嘉靖：来了那么多人，没有吃的怎么办？严嵩：饥民来了不少，京城米价天天涨，只有将太仓粮拔出十万石，平价粜卖了，皇上您看怎么样？嘉靖：我也这么想。但有些人恐怕走不到京城，就饿死在路上了，有什么应对措施吗？严嵩：已经吩咐下去了，由五城御史带领各司官役，沿途查看，有饿死的，就好生掩埋。那些身无分文，平价粮也买不起的，也不能看着饿死，就由十万石中，分出二万石来救济。再着锦衣卫严加把关，不让平价粮落到奸商手里，保证市面米价平稳。嘉靖：甚好，我也是这么想的（据《皇明从信录》）。
