復帰後の
1931年からはソ連重工業人民委員部で
セルゴ・オルジョニキーゼ長官に次ぐ次官をつとめた。しかし
1936年に入り、スターリンが
ニコライ・エジョフを重用して党内の大粛清を本格化させるようになると、「元トロツキスト」のピャタコフは再びNKVDから執拗な捜査を受けるようになった。ピャタコフの妻の家にもNKVDが強制捜査に入った。身に危険を感じたピャタコフは自らの身を守るために「妻の反革命を見破れなかった」「
ジノヴィエフと
カーメネフと自分の妻を私の手で処刑させてほしい」とエジョフに訴え出たが、エジョフは「ばからしい」といってまともに取り合わなかった。またスターリンとオルジョニキーゼにもジノヴィエフ・カーメネフ・トロツキーを口汚く罵る手紙を送って、スターリンへの忠誠を示そうとしたが、これも相手にはされなかった。ピャタコフは、
グリゴリー・ソコリニコフ追放にも大賛成していたが、もはやスターリン達にとってピャタコフは生かしておく意味のない人間であった。
1936年9月11日をもってピャタコフは共産党を追放され、翌12日に反革命罪で逮捕された。
モスクワ裁判の見世物に使われたのち、1937年1月に銃殺される。