Итак, замок строил в прошлом веке эмигрант из Риги Эдвард Лидскалнинш на протяжении 25 лет в честь своей возлюбленной Агнес Скувст, которая ему отказала в ночь перед самой свадьбой.
Эдвард был бедным, необразованным каменщиком (поэтому Агнес по настоянию отца и отказала ему в женитьбе). Тогда в 1910 году он покинул Латвию и скитался по свету, изучая строительное дело (даже посетил Египет). Образование он так и не получил, но изучил много книг и, как сам утверждал, разгадал тайну египетских пирамид, а также пирамид Перу и Юкатана.
Нужно отметить, что, ко всему прочему, он был очень хилым и болезненным человеком (рост 1,5 м и вес всего 45 кг), и когда он попал в Америку, то из-за туберкулеза решил поселиться именно в теплой Флориде возле океана. Там он сразу купил небольшой участок земли и начал строить замок!