1735年，雍正病重，把弘历叫来交代后事：“鄂尔泰、张廷玉，你要用，李卫跟了朕一辈子，朕死后，你要善待他…”弘历听到“李卫”的名字，狠狠咬了咬牙。那可是雍正的快刀，咬人最狠的狗！

弘历登基后第十天，一道旨意从宫里送到保定直隶总督衙门。旨意不长，只说先帝临终仍念李卫，命他仍管直隶，又加了一个兼管刑部的差事。李卫跪接完，咳嗽得直不起腰。他问传旨的太监：“皇上可还问了什么？”太监摇头。李卫便不再问，让人取银子送太监出门。
兼管刑部不是恩典。李卫手里压着雍正年间十几桩未结的旧案，牵涉宗室、督抚、八旗。先帝在时，他敢用铁腕；新帝登基，他每动一案，都像替皇上摸一块烧红的铁。果然，第一个月，就有御史递折，说李卫旧部在直隶滥用私刑，民怨沸腾。折子留中不发。李卫却知道了。
他进京见乾隆。乾隆在御书房见他，开口先问：“先帝让朕善待你，你可知朕难在哪里？”李卫伏地：“奴才是一把旧刀，刀口卷了，该磨该收，全凭主子。”乾隆看着他，许久说：“刑部的事，你先放一放。”李卫磕头：“奴才领旨。”他退出时，听见乾隆在身后翻书，纸页响得很轻。
回保定后，李卫把手下几个最得力的旧人叫来。这些人跟了他十几年，查亏空、缉私盐、办盗案，手上都不干净。李卫给他们每人一笔银子，让他们交印。有人不肯，说：“大人若退了，仇家立刻扑上来。”李卫说：“新主子要的是安稳。你们不走，我先倒。”三天后，总督衙门里空出六张桌子。
乾隆二年，直隶大旱。李卫亲自督赈，在城外棚子里熬粥，一待就是四十天。他咳出血，仍不肯回衙。乾隆派御医来，赏了人参。御医走后，李卫对儿子说：“皇上不是要我死，是要我服。”儿子问：“那您服不服？”李卫没有答，只把药喝了。
旱情刚缓，李卫便交了直隶总督印，请求入京调理。乾隆准了。离任那天，保定士绅送行，李卫只带两个箱子。路上他掀帘看了一眼总督衙门，说：“先帝的刀，留在这里了。”到京后，他住在一处旧宅，门前冷清。
乾隆三年秋，李卫病重。他让儿子把先帝赐的几件东西封好，准备交还内务府。儿子翻出一件旧披风，那是雍正赏的，领口磨破了。李卫看了一眼，说：“也还回去。”儿子问：“皇上未必记得。”李卫说：“他不记得，我更不能留。”
李卫死时五十一岁。讣告递进宫，乾隆正在批阅河工折。他放下笔，问身边太监：“李卫临终可有话？”太监答：“只让家人交还先帝旧物。”乾隆沉默一阵，下旨按总督例赐葬。朝臣都说新帝仁厚，不负先帝所托。可李卫那些被遣散的旧部，此后无一人再被起用。
旨意送到李卫家那天，李卫的儿子把先帝旧物交还内务府，回来时见箱底压着一张旧纸，上面只有李卫写的四个字：“刀收，狗老。”儿子把纸揉了，没让任何人看见。宫里再没问过李卫家的事