此時法西斯主義也開始傳入蘇聯(lián)，斯大林不希望法西斯主義在蘇聯(lián)傳播，所以作為國家安全局的首領，亞戈達自然要為這件事情找個解決辦法。僑民與德國進行合作，傳播法西斯主義，蘇德之間的關系便出現(xiàn)了微妙的情況。

亞戈達這個人非常自滿，尤其他在國家安全機關工作一段時間之后更是如此，比以前更加敏銳和能干了，他漸漸分不清楚哪些是敵人，準確來說是斯大林的敵人。事實上在基洛夫被刺殺那件事情上，斯大林就已經很不滿了。亞戈達要搜查隱藏的白衛(wèi)軍分子，斯大林就說不要浪費時間，對于斯大林來說隨時都可能撤掉亞戈達，他只是在等待一個更加得力的助手。果然，這個人他終于等到了，他就是葉若夫。

1936年9月25日，正在休假的斯大林從索契給政治局委員們發(fā)來一封電報。與他一起在電報上簽字的還有政治局候補委員、中央組織局委員安德烈·亞歷山德羅維奇·日丹諾夫。電報中寫道：“我們認為，任命葉若夫同志為內務人民委員是完全必要的和緊急的事情。亞戈達顯然在揭露托洛茨基—季諾維也夫集團的工作中未能出色完成自己的任務。國家政治保安總局在這項工作上延誤了4年時間。所有黨的工作者和內務人民委員部大多數(shù)州代表都這樣講?！保?6］

自此亞戈達政治生涯開始走下坡路。亞戈達從1934到1935年逮捕了26萬人，不過這也沒有他的后任葉若夫逮捕和槍殺的多，所以從這個角度來看，亞戈達的確沒有葉若夫更加有效率。但是事實上亞戈達的下臺，跟葉若夫本人也有很大關系，在前政治局委員和工會領導人米哈伊爾·帕夫洛維奇·托姆斯基于1936年8月22日自殺后，曾給斯大林留下一封信，讓斯大林具體問題可以問托姆斯基的妻子。

斯大林還在休假的時候，詢問托姆斯基的事情就落在了葉若夫和政治局委員謝爾戈·奧爾忠尼啟則身上。葉若夫趁此機會則跟斯大林說，托姆斯基的妻子說是亞戈達讓其走上右翼反動派道路的。這種說法有人認為是無稽之談，但是從另外一個側面也可見國家政治局領導這個職位競爭之激烈。

亞戈達在1936年9月26日被任命為郵電人民委員，接著被轉入預備役，最后在1937年3月18日被葉若夫指控說他是沙皇暗探局的偵探、騙子和盜用公款者。緊接著，他就被解除職務，葉若夫找了非常多的證據(jù)，使得亞戈達再也翻不了身了。1938年11月13日，亞戈達被處以極刑。