就在「尼希米」召聚領袖與百姓，激勵大家同心建造之後，百姓與領袖「奮勇做工」的過程中，他們遇到許多的困難，記載在第四章到第六章。這是仇敵的第一波攻擊。

一、參巴拉的嗤笑

「參巴拉」就是當時攻擊他們最力的外邦領袖，「聽見我們修造城牆就發怒，大大惱恨，嗤笑猶大人」。前面提及他很可能就是撒瑪利亞的行政官員，此時帶著「撒瑪利亞的軍兵」來到建造城牆之處，嗤笑猶大人「這些軟弱的猶大人做甚麼呢？要保護自己麼？要獻祭麼？要一日成功麼？要從土堆裡拿出火燒的石頭再立牆麼？」他嗤笑他們必不能成事。

與「參巴拉」一同攻擊的還有「亞捫人多比雅」，也一同站在旁邊嗤笑他們「他們所修造的石牆，就是狐狸上去也必跐倒。」他嗤笑他們的建造不堪一擊。

二、百姓專心做工

「尼希米」面對這樣的嗤笑，他首先禱告天上的主「我們的神啊，求你垂聽，因為我們被藐視」。之後他祈求「求你使他們的毀謗歸於他們的頭上，使他們在擄到之地作為掠物。不要遮掩他們的罪孽，不要使他們的罪惡從你面前塗抹，因為他們在修造的人眼前惹動你的怒氣。」

接著「尼希米」要百姓不要理會這些嗤笑「專心做工」。於是城牆漸漸成形「我們修造城牆，城牆就都連絡，高至一半」。這使得他們的仇敵更加憤怒「參巴拉、多比雅、亞拉伯人、亞捫人、亞實突人聽見修造耶路撒冷城牆，著手進行堵塞破裂的地方，就甚發怒。」

他們打算更進一步，不僅是藉嘲笑使他們洩氣，更要「同謀要來攻擊耶路撒冷，使城內擾亂」。

三、尼希米的勉勵

他們的攻擊分幾方面。一方面他們打算「趁他們不知不見，我們進入他們中間，殺他們，使工作止住」。另一方面，他們攻擊那些「靠近敵人居住的猶大人」的居處，使得他們的家人「十次從各處來見我們，說：你們必要回到我們那裡」。

這時，內部也出現危機「猶大人說：灰土尚多，扛抬的人力氣已經衰敗，所以我們不能建造城牆。」

內憂外患，使得「尼希米」一方面「禱告我們的神」，同時「派人看守，晝夜防備」。他命令「百姓各按宗族拿刀、拿槍、拿弓站在城牆後邊低窪的空處」，隨時防備敵人來攻。他也勉勵「貴冑、官長，和其餘的人」，要他們「不要怕他們！當記念主是大而可畏的。你們要為弟兄、兒女、妻子、家產爭戰。」