История так называемого «маленького Дворца» Боргезе (в отличие от самого Дворца Боргезе, который находится между Виа дель Корсо и Тибром) начинается в 1605 году, когда Камилло Боргезе, представитель знатного рода из города Сиены, который недавно переехал в Рим, был избран римским папой под именем Павла Пятого. У семьи Боргезе в то время был уже на этой территории маленький участок земли. Новый папа сразу же приобрел новые участки и передал их своему любимому племяннику, Шипьоне, сыну своей сестры Ортензии, которого назначил кардиналом. Кардинал Шипьоне начал собирать коллекцию картин и скульптур. Практически неограниченная власть и грандиозное богатство дали ему возможность на редкость быстро и эффективно пополнить коллекцию произведений искусства: картины великих мастеров покупали, конфисковывали, вымогали шантажом…