这其中，改造特别过分的当属影响最大的“虚无派”和“日用派”。黄宗羲针对这两派做过专门批判：“阳明先生之学，有泰州、龙溪而风行天下，亦因泰州、龙溪而渐失其传。泰州、龙溪时时不满其师说，益启瞿昙之秘而归之师，盖跻阳明而为禅矣。”
可以说，阳明学说能够风行天下，“虚无派”和“日用派”的主张居功甚大，但是由于其改造过大，跻而为禅，也导致心学的本来面貌被掩盖。
说起来，当初王阳明本人可是专门批评过一些佛、老学说之中过于虚妄的说法的，不知道他泉下有知，是否会为后世门徒乱解其本说感到愤怒？
其三是流于空疏。原历史上的明末社会在危机四伏，经济衰退，战事频起，大厦将倾之际，社会呼唤的是能改革弊政、上马杀敌、整治社会的实干型人物，而王门后学大都流为虚浮的口上说教。
关于这点也很让人感慨，因为王阳明在世时对此就早有预感，其言：“某于良知之说，从百死千难中得来，非是容易见得到此。此本是学者究竟话头，可惜此理沦埋已久。学者苦于闻见障蔽，无入头处，不得已与人一口说尽。但恐学者得之容易，只把作一种光景玩弄，孤负此知耳。”
真是不幸啊，先生竟一语成谶。
王学的命运不幸被其言中，在其去世后，王学也逐渐趋于空疏，不再作修持上的功夫，只是“想象”，也忘了乃师四平叛乱的壮举。
对于王学的空疏之风，顾炎武对此做了激烈批评：“以一人而易天下，其流风至于百有余年之久者，古有之矣。王夷甫之清谈，王介甫之新说，其在于今，则王伯安之良知是也。”
他将王阳明比作晋之王导、宋之王安石，认为明朝的灭亡，根子上就是王阳明所开启的“新说”导致的。
当然，将国家的覆亡归结为一百多年前的某个人，不免失之简单武断，但也从侧面说明阳明心学的流弊波及深远。
阳明心学本质上是“知行合一”的实践哲学，正如牟钟鉴所说：“阳明心学不是书斋哲学，不单纯是逻辑推演的产物，也是他个人对社会人生痛苦体验后有深切解悟的产物。王学是生活和实践的哲学，这对于准确把握王学的内在精神十分必要。”
现在诸位当知，“从群众中来，到群众中去”，是何其伟大的论断和指路明灯了吧？
回到心学，从外因来说，心学也面临几大问题：
其一是官方的打压。姚江心学作为新兴的学说，由于对官方所宣扬的朱学形成了挑战，对朝廷的稳定具有潜在威胁，自然会遭到打压。
早前，嘉靖帝就曾直斥阳明学说为“叛经背道之书”，专门下诏“自今教人取士一依程朱之言”来巩固正统官学的地位。
阳明心学“致良知”所推行的“内圣”之学，把个体从礼教束缚中解放了出来，使人们更为注重个体的体验，因此受到朝廷中反对势力的打击报复，被冠以“邪说”、“反叛”、“异学”、“异端”等称呼。
虽然王学在隆庆元年被朝廷上层认可——本书前文曾说过，当时内阁之中从徐阶往下，有一大批心学门徒，不说把持朝政，至少也是强势影响朝政的。不过，彼时心学门人之中也还是有不少遭到政敌报复打压，导致一大批为官的王学后学被贬黜或下狱。
如浙中学派的钱德洪被弹劾入狱，自其出狱后到去世的三十年间，都再无一官一职；王畿则被斥为“伪学小人”，导致他主动辞归隐逸达四十年；彭季山二度被贬后便罢官归家；罗念庵因为直谏被贬为民等等。在这样的打压下，王学的影响力日益减弱。
[注：这里的打压主要是张居正为首的朝廷干的，高拱因为秉政时间较短，反倒干得少些。不过从朝廷角度来说，高拱也好，张居正也罢，这么做倒也无可厚非。]
其二是理学家的非难。顾宪成批判王阳明的“无善无恶”是以善为恶，以恶为善，“在吾儒则阴坏实教也”，是对礼教法制的败坏；又否定“心即理”的普遍意义，认为“心即理”只有圣人能做到，普通人用之“其势必至自专自用，凭恃聪明，轻侮先圣，注脚六经，无复忌惮”。
顾宪成作为欧阳德的再传人，以东林党领袖的身份批判王阳明，可以说对心学打击甚大。东林党人的另一领袖高攀龙与顾宪成一唱一和地对王学进行批评，认为“无善无恶心之体”破坏名教，是“大乱之道也”，并批判王阳明的“龙场悟道”，悟的是佛老之旨，不是儒家格致之旨，这就从根本上否定了王学。
顾、高对王阳明的批判，成为明末清初学者对王学批判、清算、发难的始作俑者。其后有张杨园、陆稼书、张武承、黄宗羲、陆桴亭、顾炎武、张伯行、王夫之等一批继任者对王学进行了不同程度的批判与反思。