曰蓝田山，曰商洛地肺山，曰终南山，东西相接八百里，实一山也。……商山，即商洛山，别名地肺山，位于南山之东，是南山的支脉，也可称“南山”。商山靠近蓝田山，二者有时混称。晋皇甫谧《高士传》称“四皓”隐于商洛山、地肺山、蓝田山、终南山者，以此故。总之，南山是山脉名，非具体山名，大约相当于今天所说的秦岭。商山是南山的支脉，秦末汉初四皓即隐居于此山。
所以我们既可称这个群体为“商山四皓”，也可称为“南山四皓”，两种说法并行不悖，并非史籍之误。至此，杨坚用自己的信任换来了苏威的倾心相助，高熲和苏威一起辅佐隋文帝打理隋朝内外诸事，取得了非常显著的效果，《隋书》载：“时高熲与威同心协赞，政刑大小，无不筹之，故革运数年，天下称治。”到开皇九年（公元589年），苏威被拜为尚书右仆射，正式成为仅次于尚书左仆射的重臣，他的政治生涯也由此达到巅峰。
不过树大招风，好景不长，苏威在到达自己人生巅峰后不久就被拉下神坛。这一切都由一场宴会开始。
苏威的儿子叫苏夔，苏夔继承了苏威的才华，年少成名，天下称道，并且喜好结交高士，所以门下招纳了许多宾客。在一次宴会上，苏夔和众宾客在讨论礼乐之事，席间苏夔和当时的国子博士何妥的意见发生了分歧。但不知是因为苏夔平时礼贤纳士还是众人惮于苏威的地位，总之当意见出现分歧的时候，大部分人都站在了苏夔这边而反对何妥的意见。苏夔有没有学问呢？其实是很有学问的。《隋书·苏威传》记载说苏夔字伯尼，从小就非常聪慧，能言善辩，年纪稍长，接受了更专业的学术训练，博览群言，尤其擅长音律礼乐，并且精通骑射，曾经与杨雄驰射打赌，还把杨雄的骏马赢了回来，可以说是允文允武。何妥在礼乐方面的造诣不如苏夔，或许也在情理之中，但是何妥并不这样想，他觉得自己是堂堂国子博士，学富五车，怎么能够在苏夔这个晚辈面前丢脸呢？所以经此宴会一事，何妥一直如鲠在喉，时时都在寻觅着对苏夔和他父亲苏威实施报复的机会。
不日，杨坚收到一封奏折，陈列了苏威四条罪状。第一条，苏威与礼部尚书卢恺、吏部侍郎薛道衡、尚书右丞王弘、考功侍郎李同和结成朋党；第二条，苏威在公共场合呼王弘为世子，尊李同和为叔父，三人有如一家人；第三条，苏威通过不正当手段让他的兄弟苏彻、苏肃做官；第四条，国子学请荡阴人王孝逸做书学博士，但是苏威的下属卢恺却将王孝逸拉拢到自己府中做参军。杨坚随即下令自己的儿子蜀王杨秀和我们后面要提到的虞庆则彻查此事，结果属实，杨坚于是把苏威叫来，当堂让他读《宋书·谢晦传》中的朋党之事。苏威读着读着就变了脸色，“扑通”一声跪倒，摘帽叩首谢罪。杨坚只冷冷地抛出一句：“爱卿，这时反悔，恐怕太晚了吧！”苏威浑身颤抖着，趴在地上不敢抬头，他感觉有人重重地踩在他的脊背上，疼痛且冰冷，尴尬且羞耻。
“将苏威以开府（古时高级官员，不过苏威此时没有实权）的身份革职回家！”这是最后的判决结果，也是苏威政治生涯的第一次免官。
我们在很多电视剧中会看到诸如“临阵斩将，于军不利”之类的台词，隋朝面临的境况也是如此。帝国方兴，正是用人之际，杨坚不会轻易放弃苏威这样的人才，他很快就召苏威回来，赐爵邳公，担任纳言，理由是苏威纠集朋党，是为小人所误，非其本人之失。话虽这样说，但不过是敷衍的辞令而已，杨坚心里早已对苏威有所戒备。果然不久之后，在泰山祭天大典时，苏威再次因一些不敬的举动被罢免。但后来很快又官复原职。杨坚对此说了一段意味深长的话：
世人言苏威诈清，家累金玉，此妄言也。然其性狠戾，不切世要，求名太甚，从己则悦，违之必怒，此其大病耳。
灵活是好事，但过分灵活，就如杨坚所讲的，会异化成一种类似圆滑的心态。杨坚