Bugün EÜ Rektörlüğü’nün bulunduğu alanda 18. yüzyılın başlarında bir manastırın bulunduğu bilinmektedir. Bu arazide ilk olarak Hollandalı bir göçmen tarafından tek katlı olarak inşa edilmiş olan ev ,1817 yılında ticari amaçlarla İzmir’e yerleşen, ünlü Whittall firmasının ortaklarından James Whittall tarafından 1820’lerde satın alınmıştır. Onun ölümünden sonra kardeşi Charlton Whittall’in mülkiyetine geçen ev daha sonraki yıllarda genişletilmiş, üzerine katlar ilave edilmiş ve “Büyük Ev” adıyla anılmaya başlanmıştır.

Büyük Ev, Whittall Ailesi’nin sosyal politik yaşamdaki konumu nedeniyle farklı tarihlerde pek çok önemli ismi ağırlamıştır. Sultan Abdülaziz (1863), Edinburg Dükü Alfred Ernest Albert ve onunla birlikte gelen -1910 yılında George V. Adıyla İngiliz tahtına çıkacak olan– George Frederick Ernest Albert (1886) ve Yunan Prensi Andrew (1921) bu önemli  konuklardan bazılarıdır.

1930'lu yıllarda mülkiyeti Giraud ailesine geçen Büyük Ev 1960 yılında kamulaştırılarak TC Maliye Hazinesi’ne devredildikten sonra Ege Üniversitesi’nin mülkiyetine geçmiştir. Bina halen EÜ Rektörlük İdari  Binası olarak hizmet verilmiştir.