在这之前，他只是受到父亲想学美术而未如愿的爱好影响，喜欢在父母工作和生活的北大里写生，没有正式拜过师。那时候，受苏联影响，美术教育的基础都从素描开始，再到风景写生的色彩练习。
徐冰性格腼腆，自幼身体不好，自认也不是功课优秀的孩子，就慢慢把自己封闭起来作画。文革之后，父亲连带着家里倒了霉，徐冰这一代都得表现着自己是有希望的，是对革命有作用的年轻人。那时，要拿笔做刀枪，书法绘画都是重要的，徐冰就特别努力写标语、做报纸排版，证明自己是有用的人。
由于母亲办公室的介绍，徐冰认识了中央美术学院教授李宗津，看到了油画的魅力。高中毕业后，徐冰去插队，白天干活儿时就在想晚上去哪里画画，插队回来，他拿着画好的画去请教李宗津。没过多久，徐冰再去敲李宗津的家门时，怎么也没有人开，两天之后他听北大的一位先生说李宗津自杀了。那是1977年。
上世纪80年代，从中央美术学院毕业后，徐冰留校任教，把自己关在小屋子里摸索，跟着中国美术界的新潮，雕刻创作出4000多个伪汉字，每个字都有偏旁和部首，但它们没有读音，也没有人会读识，包括他自己。这些字被他刻制印刷成《天书》，想以此打破并重构人们的思维。
这成了他的代表作，热热闹闹地被赞誉了一番，他“自我封闭的崇高感”却被失落地打破，自觉“失语”，仿佛闷头四年，恍然不知世事，又做的是一件什么都没说清的事情。于是，他想去西方看看更多的艺术。1990年，他到了纽约，跟当时的大部分非西方艺术家一样，他也想抹去身上的中国传统文化和社会主义色彩，成为纯粹的当代艺术家，一待18年。
起初，他感慨自己的创作在西方美术界受到了重视。慢慢地，他发现自己被裹挟进了各种开幕式和办展的应付之中，开始意识到“西方当代艺术创作系统变得越来越程式化，越来越没有活力”。
