Meski berhasil mengantar Brasil menjadi kampiun Piala Dunia 2002 dan Piala Konfederasi 2013, Scolari hanya mampu membawa tim Samba finis di urutan keempat saat menjadi tuan rumah even empat tahunan tersebut tahun ini. Brasil disingkirkan Jerman di semifinal dengan skor 7-1, sekaligus menjadi kekalahan terburuk pertama bagi Brasil di ajang kompetitif dalam 39 tahun terakhir.
Nasib Brasil semakin tragis di Piala Dunia 2014 saat dikalahkan Belanda 3-0 saat merebutkan tempat ketiga. Kontrak Scolari sendiri diketahui akan berakhir setelah Piala Dunia. Berbagai media Brasil, seperti dilansir BBC Sport, mengungkapkan pengunduran diri mantan pelatih Portugal itu akan segera dikonfirmasi langsung oleh Konfederasi Sepakbola Brasil (CBF) pada 14 Juli 2014.
Scolari pertama kali menjadi pelatih Brasil pada 2001 dan sukses mengantarkan tim Samba menjadi juara Piala Dunia 2002 dengan mengalahkan Jerman 2-0 dalam final yang digelar di Yokohama, Jepang.
Setelah itu, Scolari meninggalkan Brasil dan menjadi pelatih tim nasional Portugal. Setelah menangani Cristiano Ronaldo dan kawan-kawan, Scolari lalu bergabung dengan klub Premier League Chelsea, sebelum pindah ke Uzbekistan untuk menangani klub bernama Bunyodkor. Tidak lama di Uzbekistan, dirinya bergabung dengan Palmeiras di Liga Brasil. Scolari kembali mengambil alih posisi pelatih timnas Brasil pada 2012.
Harapan kembali muncul saat Brasil dibawanya menjadi juara Piala Konfederasi 2013. Lalu berhasil menduduki puncak klasemen grup di Piala Dunia 2014 setelah meraih dua kemenangan dan sekali hasil imbang. Brasil lolos ke semifinal setelah mengalahkan Chile lewat adu penalti di babak 16 besar dan mengubur mimpi Kolombia di babak perempatfinal dengan skor 2-1. Tapi kemenangan itu harus dibayar mahal setelah Neymar mengalami cedera tulang belakang.
Namun malapetaka bagi Scolari di semifinal, Jerman mampu membuat publik Brasil bungkam setelah secara mengejutkan mencetak lima gol dalam waktu 30 menit di babak pertama dan berakhir dengan skor 7-1. Scolari sendiri menyebut kekalahan tersebut sebagi hari terburuk dalam hidupnya, dan secara langsung meminta pengampunan dari rakyat Brasil untuk dirinya.