William Smith merupakan orang Scotland yang datang merantau ke Malaya pada 1 Mac 1890 untuk memperbaiki taraf hidupnya. Beliau berkhidmat sebagai jurutera awam secara kontrak selama dua tahun, dengan kerajaan kolonial bagi membina laluan kereta pik ke sebuah kuari batu yang baru dibina. Selepas timbul masalah dengan projek tersebut, beliau mula berganding dengan Charles Alma Baker. untuk usahakan projek membina jalan raya di Perak.
Melalui usaha bersama, beliau berjaya dapat 200 eka tanah di Batu Gajah untuk diusahakan, dan mula menanam kopi pada tahun 1896. Beliau kemudian menggantikan tanaman kopi tersebut dengan getah sehingga dapat membeli ladang sendiri di kawasan Batu Gajah yang dinamakan Ladang Kinta Kelas. Pada tahun 1903, William kembali ke Scotland untuk melawat ibunya yang sedang nazak, dan dalam perjalanan pulang, beliau bertemu dengan bakal isterinya Agnes, yang merupakan pewaris kepada perniagaan kapas. Selepas mengahwini Agnes, mereka tinggal di rumah beliau di ladang yang dibuat daripada kayu.
Disebabkan rumah itu akan jadi terlalu panas jika cuaca panas, Agnes kurang selesa dengan keadaan itu dan mengidamkan rumah yang lebih besar. Selepas kelahiran anak pertama, Helen, William memulakan rancangan pembinaan rumah idaman mereka. Setahun selepas perancangan pembinaan dibuat, William mengalami masalah kewangan, Muan 300,000 pound sterling yang sepatutnya diwariskan kepada Agnes, hanya akan dilepaskan pada tahun 1908. Firma Guaman di Singapura, tempat William membuat pinjaman turut mengalami masalah kegawatan.
William semakin terdesak kerana Agnes baru sahaja melahirkan anak keduanya iaitu Anthony. Beliau kemudian menyuruh Agnes menulis surat kepada kerajaan kolonia untuk meminjam duit daripada mereka. Walaupun jumlah yang diminta adalah sebanyak 50,000 pound, mereka hanya memberikan 10,000 pound sahaja kerana tak confident yang pasangan ini dapat bayar balik jumlah itu. William juga terpaksa menjual 2 pub 3 daripada ladang untuk bayar balik duit yang dipinjam, bersama kehilangan tendekan kuda dan lembu akibat wabak penyakit. Bila agak dapat dana yang diwarisi Agnes pada 1908, pembinaan istana diteruskan dengan menggajikan seramai 70 orang buruh mahir dari Madras, India.
Ini adalah antara bahan binaan yang digunakan untuk menyiapkan Kelly Castle. Batu marmat diimport dari India. Jubin diimport dari Itali. Batu-bata jenis aprikot yang dibuat di Malaya. Dan kayu cengal.
Memandangkan pada masa itu tiada simen, jadi dinding istana dibina menggunakan campuran putih teluritik, pasir, kapur, gula merah dan madu. Pembinaan istana ini pun tidak menggunakan paku, besi, atau jentera berat. Selain itu, istana tersebut menggunakan dinding batu yang tebal. dan mempunyai laluan koridor bagi membantu pengudaraan supaya isterinya tidak berasa panas. Pekerja-pekerja Hindu dari Madras takut dengan wabak Spanish Flu yang ditimpa mereka.
Mereka kemudiannya mencadangkan kepada William supaya sebuah kuil untuk dibina, bagi menghormati Dewa Meriaman, dan membolehkan mereka berdoa dan meminta ampun kepada Tuhan mereka, bagi melindungi mereka, menolak bala dan menghentikan penyakit. Dan tidak lama selepas itu, Wabak pandemik yang membunuh itu beransur hilang. Oleh kerana William Smith bersetuju untuk membiayai dan membina kuil itu, orang Hindu telah mengukirkan sebuah patung, yang menggambarkan diri beliau sebagai tanda penghargaan, dan patung itu diletakkan bersama patung-patung dewa lain di atas bumbung kuil berkenaan.
Terowong pertama, laluan terowong ini menuju ke Kuih Hindu yang berada kira-kira 500 meter dari istana dan diketahui oleh orang ramai sejak istana ini ditinggalkan. Terowong kedua Laluan ini menuju ke jalan keluar yang berada betul-betul berdekatan kereta milik keluarga Kelly, tetapi dikatakan telah runtuh dengan kereta tertimbus di bawah runtuhan. Terowong ketiga, laluan ini masih kekal misteri ke mana arah tujuhnya. Ia dijumpai secara tak sengaja pada tahun 2003, sewaktu JKR sedang jalankan kerja-kerja membuat jalan raya di KM4 Jalan Gopeng Batu Gajah. Masa ditemui, terowong yang berketinggian 1.5 meter dan kelebaran 1 meter itu dalam keadaan ditenggelami air.
Pada tahun 1926, William dan anaknya Alan pergi ke Lisbon, Portugal sebelum teruskan perjalanan ke England untuk melawat Agnes dan Anthony. Ada yang mengatakan William pulang ke England untuk bawa balik set lift yang dicadang untuk dipasang di Menara Istananya. Tapi malangnya, masa dipercuka, William diserang penyakit pneumonia, dan mati pada 11 Disember 1926 di Lisbon pada usia 56 tahun. Selepas William mati, Agnes tidak kembali ke Malaya dan telah menjual segala harta milik mereka termasuk Kelly Castle. Ladang milik mereka telah dijual kepada syarikat Harrison's dan Crossfield.
Syarikat ini pula tidak berminat untuk meneruskan projek istana ini, jadi Kelly Castle terbengkalai begitu sahaja dan pembinaannya terhenti pada tahun 1926. Salah seorang ahli naturalis dari Kanada yang pernah ke situ untuk kajian, dan telah mendakwa terlihat satu lembaga yang menyerupai seorang lelaki bangsa Eropah sedang berdiri, dan menjengut dari salah satu tingkat di istana itu yang dipercaya Roh William Kelly Smith. Ada yang kata Roh William tak akan tenang selagi Kelly Castle tidak disiapkan. Ada juga seorang pengunjung pernah mendakwa, ternampak seorang budak perempuan Eropah dalam lingkungan usia enam tahun berkeliaran.
Budak perempuan itu dipercaya Roh Helen. Pada tahun 1995 pula, sekumpulan pemuda melawat Kelly Castle, buat pertama kali pada jam 5 petang. Mereka didatangi seorang pengawal istana. Yang memaklumkan permis itu sudah tutup waktu itu. Tetapi, bila mereka hendak pergi, baru mereka sedar yang pengawal itu tidak berkaki dan seakan melayang menuju ke pondoknya.