Ang kilalang pilantropo at art collector na si Raymond Nasher ay nagtapos mula sa institusyong ito ng mas mataas na edukasyon noong 1943 at nag-aalala tungkol sa sitwasyong pangkulturang nariyan mula pa. Ang museo ng unibersidad ay itinatag noong 1969, at ang mga katamtamang koleksyon nito ay nakalagay sa isang itinayong muli na gusali ng laboratoryo.
Nag-isip si Nasher ng pagbuo ng isang bagong kumplikado para sa kanya higit sa 15 taon na ang nakalilipas, ngunit kinailangan niyang maghintay ng sampung taon para sa isang pangmatagalang eksperimento sa biological na magtatapos sa halaman na pinili niya upang itayo.
Ang gusali ng Vignoli ay bumubuo ng tema ng pagsasama sa kalikasan: limang mga gusali ang matatagpuan sa paligid ng isang makintab na patyo na may sukat na 1200 sq. m, mula sa kung saan bukas ang mga tanawin ng mga nakapaligid na kagubatan. Ang "atrium" na ito ay gagamitin para sa mga pag-install at bilang isang venue para sa mga social event. Binubuksan nito ang mga pasukan sa tatlong mga pavilion-gallery na may kabuuang sukat na 1300 sq. m, sa awditoryum para sa 170 katao sa ika-apat na gusali at sa lugar ng pang-administratiba sa ikalimang. Ang kongkreto, baso, berdeng slate, oak at beech na kahoy ay ginamit sa konstruksyon.
Ang museo na ito, na magpapamalas, kasama ang sarili nitong mga koleksyon, bahagi ng koleksyon ng Nasher, ay pupunan ang Nasher Sculpture Center sa Dallas, na dinisenyo ni Renzo Piano noong 2003.
Ang Duke University Museum ay nagkakahalaga ng $ 23 milyon, 10 na kung saan ay namuhunan ni Raymond Nasher.
