部队进驻都菏泽之后，没有继续推进，对于这个挂着抗日之名，实则和人来往密切的武装政治势力，李洪刚寻找动手的机会，不但要全歼陈天南武装，还要揭露他的真面目，为此，李洪刚把配属给他的特战分队，全都派出去，最好活捉几个在陈天南身边的人，拿到证据，陈天南也就无话可说了，歼灭他也就有了充足的理由。
这事儿下达命令容易，执行起来就很难了，陈天南身边的人，都在他的队伍里挂着参谋之类的头衔，深居简出，平素不大露面，几支特战分队潜伏进巨野好几天，一直没有机会，把李洪刚弄得一筹莫展。
强行打，没有充足的理由，还会招致鲁南一带老百姓的反对，失去民心，这仗得不偿失，不打，任其做大，早晚是个祸害，人在他的队伍里活动频繁，前线的部队和日军打到紧要关头，陈天南的几千训练有素的武装，突然发难，对独立师所有在山东的部队，都是一场灾难，李洪刚思考了几天，也没有好办法。
他只好把情况汇报给在郑州指挥部的师长唐秋离，说明目前遇到的困境，唐秋离回电很简单，就是六个字，“行使你的职权，”李洪刚茅塞顿开，对呀，自己是国府正式委任的山东省政府主席，黄河流域战区委任的山东警备区司令部司令官，凡是山东的军政，都是自己说了算。
一旦打开思路，李洪刚迅速制定了对策，他以山东省政府主席、山东警备区司令官的名义，给陈天南下了一道公文，大意是，当前，北方对日作战形式紧张，日军在华北陈兵百万，对我山东虎视眈眈，有大举进犯之趋势，为了贯彻蒋委员长倾举国之力，施行全民抗战的号召，凡是山东行政辖区内的所有地方武装，均编入山东警备司令部所辖部队，统一番号，实施统一指挥。
各地民政，均由省府委派官员管理，统一税收，集中人力、物力、财力，准备迎击日军的进攻，凡是接到公文的地方自发武装，立即清点人数和武器装备，登记造册，集中到指定地点，由省警备司令部派员点验。
公文的最后，还限定了期限，并且说，如果某一地方势力，拒绝省警备司令部的点验，拒绝省府委派官员的管理，一律视为违抗中央政府的法令，省警备区将派部队，强行收缴武器，遣散队伍，追究首要人物的责任，由此引起的一切后果，均由对方承担，李洪刚知道，陈天南绝不会交出人枪，逼着他动手，也是其中的用意之一。
这道公文很厉害，一下子掐住了陈天南的脉门，说到底，他是趁乱而起的地方势力，没有国府亦或是任何官方的任命，属于自发行为，所谓“名不正则言不顺”，他还不是啸聚山林、明火执仗的土匪，可以不理会什么狗屁公文。
李洪刚下达了公文之后，按兵不动，他倒要看看陈天南这个潜水的汉奸，是如何应付自己的官面文章，只要他动，就会有破绽露出来，只要活捉几个他身边的人，一切都真相大白，也剥去他伪抗日、真汉奸的面纱，李洪刚暗自感叹，师长真是厉害啊，一语争得先机，现在，该轮到陈天南头疼了。