Ковчег завета был утрачен в 586 году до Р.Х., когда войска вавилонского царя Навуходоносора сожгли Иерусалимский храм. Пророчество об этом было сделано Иеремией: «И будет, когда вы размножитесь и сделаетесь многоплодными на земле, в те дни, говорит Господь, не будут говорить более: «ковчег завета Господня»; он и на ум не придет, и не вспомнят о нем, и не будут приходить к нему, и его уже не будет» (3:16). В храме, построенном под руководством Зоровавеля (освящен в 515 г.), в Святое Святых ковчега завета не было. Отсутствие главной святыни народа сильно печалило евреев. Возрожденный храм и внешне был лишен былой красоты и великолепия. Современник строительства второго храма пророк Аггей дал израильтянам великое утешение: «Слава сего последнего храма будет больше, нежели прежнего, говорит Господь Саваоф; и на месте сем Я дам мир, говорит Господь Саваоф» (2:9). Через пять с половиной веков в нем проповедовал Спаситель мира.
Долгое время среди евреев было поверье, что ковчег завета пророк Иеремия спрятал в пещере перед нашествие халдеев. Это убеждение нашло отражение в неканоническом тексте — 2-й Маккавейской (2:4–7).
