Το πρώτο σχέδιο του κτηρίου εκπονήθηκε από τον αρχιτέκτονα Φρανσουά Μπουλανζέ, το οποίο στη συνέχεια τροποποιήθηκε από τον Αναστάσιο Θεοφιλά και τελικά εγκαταλείφθηκε. Ο Κωνσταντίνος Ζάππας ανέθεσε τελικά τον σχεδιασμό του κτηρίου στον Δανό αρχιτέκτονα Θεόφιλο Χάνσεν. Μετά από πολλές καθυστερήσεις το κτήριο θεμελιώθηκε τη 20η Νοεμβρίου του 1874. Τα επίσημα εγκαίνια έγιναν με πανηγυρικό τρόπο την 20η Οκτωβρίου του 1888. Η αρχιτεκτονική του κτηρίου ακολουθεί τον νεοκλασικό ρυθμό, με πρόπυλο κορινθιακού ρυθμού. Το κτήριο σε συνδυασμό με την τριτοξωτή λίθινη γέφυρα του Ιλισσού, η οποία είχε κατασκευασθεί, επίσης, με χορηγία του Ευάγγελου Ζάππα, και τους γύρω κήπους, αποτέλεσαν την εικόνα της Αθήνας στις αρχές του 20ού αιώνα.[3] Δυστυχώς ο Ευάγγελος Ζάππας, δεν έζησε αρκετά για να δει το κτήριο στην τελική του μορφή. Στη διαθήκη του άφησε τον ξάδερφό του Κωνσταντίνο Ζάππα υπεύθυνο για την εκτέλεση και συνέχιση του φιλανθρωπικού του έργου.

Στις 22 Μαρτίου του 1961, μετά τη ριζική ανακαίνισή του επί τη ευκαιρία των 100 χρόνων από της υπογραφής της διαθήκης του Ευάγγελου Ζάππα, το ανακαινισμένο Ζάππειο εγκαινιάστηκε από τον τότε πρωθυπουργό Κωνσταντίνο Καραμανλή.

Το Ζάππειο έχει περίπου 25 δωμάτια (97 μ² με 984 μ²). Η αρχική χρήση του κτηρίου και του προαύλιου χώρου ήταν για τα «Νέα Ολύμπια», μια γεωργική, τεχνική και βιομηχανική έκθεση που ορίστηκε να πραγματοποιείται ανά τετραετία στο Ζάππειο. Χρησιμοποιήθηκε επίσης, από το Εθνικό Ίδρυμα Ραδιοφωνίας και από τις εγκαταστάσεις του εξέπεμπε από το 1938 ο κρατικός ραδιοσταθμός Αθηνών. Οι εκπομπές παράγονταν στους ραδιοθαλάμους του Ζαππείου, ενώ χρησιμοποιήθηκε η κεραία μεσαίων των Λιοσίων. Χρησιμοποιήθηκε στους Ολυμπιακούς Αγώνες του 1896 για τους αγώνες ξιφασκίας. Στη Μεσολυμπιάδα του 1906 χρησιμοποιήθηκε σαν Ολυμπιακό χωριό ενώ στους Ολυμπιακούς του 2004 αποτέλεσε κέντρο τύπου και εκδηλώσεων. Πολλά ιστορικά γεγονότα πραγματοποιήθηκαν στο Ζάππειο με αποκορύφωμα την ιστορική υπογραφή της συνθήκης προσχώρησης της Ελλάδας στην Ευρωπαϊκή Ένωση (τότε ΕΟΚ) τη 1η Ιανουαρίου του 1981 από τον Κωνσταντίνο Καραμανλή. Επίσης μετά από τη μεταπολίτευση το Ζάππειο αποτέλεσε το κέντρο τύπου σε όλες τις Γενικές Εκλογές της χώρας όπου οι νικητές και οι ηττημένοι των εκλογών δίνουν την καθιερωμένη συνέντευξη μετά το τέλος των εκλογών. Ο χώρος του Ζαππείου χρησιμοποιήθηκε και χρησιμοποιείται για διάφορες εκθέσεις και τελετές. Ιδιαίτερα γνωστό και αγαπητό στους Αθηναίους όλων των γενεών είναι το αναψυκτήριο Αίγλη του Ζαππείου, που έχει ιστορία πολλών δεκαετιών.