玉壁城在南北朝时是东魏和西魏向对方扩张的咽喉要道，大同十二年（546年），东魏和西魏在此大战，东魏以弱胜强，从此在东魏、西魏和南朝三足鼎立中逐渐占据战略主动地位，直至以其为基础形成北周，又以北周为基础形成隋，为中国历史上实现第二次大统一奠定了基础。
中大通六年（534年）到大同元年（535年），北魏政权因内乱产生分裂，高欢另立元善见为帝。迁都于邺（今河北临漳一带），史称东魏；宇文泰则拥立元宝炬为帝，定都长安，史称西魏。高凉郡和高凉县属东魏治辖。中大通六年（534年），东魏在今河津、稷山境内汾河以北区域置南汾州，南汾州与高凉郡（包括高凉县）皆属于东魏领地，玉壁关则成为了这两州（郡）来往的重要关隘。
大同十二年（546年）十月，东魏丞相，北齐高祖高欢率兵攻打玉璧，西魏并州刺史韦孝宽驻守城池。南北朝时期的两员名将就这么会面了。居高临下是打仗的一个比较好的方式，韦孝宽的部队作为守城一方自然是占据这个地利的，他们站在城墙上对城下的东魏军队造成了很大的打击。为了扭转不利态势，高欢命令堆土山，韦孝宽见状便用木头将城墙加高。高欢则表示，就算你韦孝宽把城堆到天上，我也能挖地道把你弄倒。高欢命令，城南的士兵挖地道，城北的士兵继续堆土山，两种方式一起来，玩个立体作战。对高欢堆土山，韦孝宽有法子了。那怎么收拾南边的地道呢？韦孝宽便在外边预先挖了一条沟，以此阻截东魏士兵，来一个抓一个，来两个抓一双。他还让人在沟边准备了不少木柴和火种，只要发现里面有东魏士兵便将木柴点燃扔进去，这下把东魏的士兵烧死、熏死的不在少数。
高欢见状便制造了一种战车，前面带着巨木坚铁，可谓无坚不摧，试图将玉壁城撞开。韦孝宽则令士兵连夜缝制大幔布，战车到哪幔布也到哪，由于幔布悬空，所以这战车的力量就在无形中被消解了。高欢又一个计策破产了还依然不罢休，准备火攻，在地道内点燃之后确实让很多地方的城墙塌陷。但是韦孝宽又在这些地方用木栅栏挡住，高欢依然无计可施。但是他发现玉璧没水源，只能到汾河取水，高还便命令在上游把水掘开，让汾河水远离玉壁城，还用松枝、麻杆之类的易燃物绑在战车上，点燃之后去烧韦孝宽的大幔布。韦孝宽则准备了长的钩刀，只要火杆快到大幔布的时候就砍断它。高欢想尽了各种法子都没能攻进玉壁城，便想到了劝降。他派人去劝降韦孝宽，韦孝宽则表示：“攻者自劳，守者常逸。孝宽，关西男子，必不为降将军也。”祖珽便向城中射赏格。韦孝宽则在背面写，能杀死高欢的也按此价赏赐，再射回去。
双方你来我往打了五十多天，结果高欢的军队里出现了瘟疫，病死、战死的加起来有七万多人。高欢忧愤成疾，一病不起。偏偏这时候一颗流星坠落，按照那时候的说法这预示着有大人物去世了，高欢感到自己可能就是应验之人，十分伤心，让斛律金唱起了《敕勒歌》。最后“欢乃解围去”，“不克而还”。两个月后，高欢便郁闷死了。