贞观四年（630年），唐太宗李世民大破突厥，被各族君长尊称为天可汗，大唐帝国进入了天可汗时代。说实话，李世民确实有点沾沾自喜，有点飘。李世民开始张罗着享受生活。下诏征调劳役士卒修建洛阳宫，以备皇帝巡幸洛阳。眼看一场大兴土木的工程即将上演，此时，一位大臣立马出来劝谏李世民，最终阻止了这场劳民伤财的工程。这次出来劝谏的大臣并不是魏征，而是侍御史张玄素，张玄素的劝谏可以说没给李世民留一点情面，说的李世民无话可说，就连魏征都甘拜下风，魏征说：“张公论事，有回天之力”。
张玄素，起初是隋朝的官吏，在景城县担任一个小小的户曹，当时隋末大乱，盘踞在河北的反隋势力窦建德攻破了景城县，窦建德就准备杀了张玄素。景城县的百姓听说此事后，自发为张玄素请愿说：“张玄素是难得的好官，今天要是杀了他，那就没有了天理”。窦建德是一个爱才的人，于是就放了张玄素。后来，张玄素被窦建德任命为黄门侍郎。
窦建德败亡后，张玄素归顺了唐朝，但起初并没得到重用，后来李世民登基做了皇帝以后，因为李世民久闻张玄素的事迹，于是便召见了张玄素。张玄素给李世民的第一条谏言就是，让李世民不要什么事情都亲力亲为，那样不仅劳累，而且容易犯错，要任用贤才共同治理朝政。唐太宗李世民对此非常的认可，于是就任命张玄素为侍御史。
贞观四年，唐太宗李世民准备营建洛阳宫，侍御史张玄素劝谏说：“阿房宫建成了，秦朝就灭亡了；章华宫建成了，楚国就灭亡了；乾阳宫建成了，隋朝就灭亡了，难道陛下也要重蹈覆辙吗“？张玄素讲了一堆大道理，可是唐太宗李世民却不以为然。
这讲大道理不成，张玄素就给李世民算起了小账。张玄素又说：“当时，隋朝建造宫室，可是附近的山上没有那么大的树木，只能从南方运来，二千人拉一根柱子，光是运送柱子就需花费几十万的劳力，其他的花费便可想而知了。陛下当时平定洛阳时，下令烧毁了这些劳民伤财的宫殿，这还不到十年，怎么陛下又要重建呢？而且按照我们现在的财力，怎么能与隋代相比”。
唐太宗李世民面露不悦，说：“难道你说我不如隋炀帝？”，张玄素回答道：“如果此工程不停，陛下必定和隋炀帝一样的下场”。李世民沉吟了片刻，立马变了脸色，笑着对房玄龄说：“朕修建洛阳宫，主要是为了方便百姓，朕到了洛阳就算睡露天的房子都行。张玄素说的有道理，应立即停止此项工程”。并赏赐给了张玄素彩绸二百匹。
李世民虽然采纳了张玄素的谏言，但打心眼里讨厌这个张玄素。当时恰逢太子李承乾游玩不学，唐太宗李世民就封张玄素为东宫詹事兼右庶子，让张玄素去辅佐劝谏太子。张玄素果然不负李世民的重望，不断的劝谏太子的过失。最终引来了太子的不满，太子李承乾甚至雇佣杀手去暗杀张玄素，还好张玄素命大没有死在太子手上。贞观十六年，太子李承乾谋反，张玄素受到牵连，被罢官免职。后来又被朝廷起用为潮州刺史。唐高宗时期，因年老而致仕。