Dilahirkan pada tahun 1950 di Gainesville, Florida, Petty memiliki masa kecil yang sulit, tetapi berjabat tangan dari Elvis pada usia 17 memicu minat pada musik rock. David Rolland dari Broward Palm Beach New Times melakukan perjalanan untuk mengunjungi tempat-tempat penting ke Petty pada tahun 2014, termasuk rumah masa kecilnya:
Band pertama Petty, Mudcrutch, tinggal di sebuah pertanian di Gainesville yang "sangat murah" dan "jauh dari tetangga yang mungkin mengeluh tentang kebisingan itu," Gainesville Sun menulis pada 2008.
Red Slater, seorang teman band yang tinggal di pertanian selama beberapa tahun, mengatakan kepada Sun:
Band ini pindah ke California pada tahun 1974 untuk menjadi besar, tetapi band itu bubar, dan beberapa mantan anggota datang bersama untuk membentuk Tom Petty and the Heartbreakers, dan sisanya, seperti yang mereka katakan, adalah sejarah (meskipun Mudcrutch bersatu kembali pada tahun 2007 dan merilis dua album).
Rumah Petty's Encino, California memiliki sejarah yang cukup. Pada 1987 — satu tahun sebelum Travelling Wilburys (grup super yang dibentuk Petty bersama George Harrison, Bob Dylan, Roy Orbison, dan Jeff Lynne) merilis debut mereka — sebuah
pembakar membakar tangga kayu di properti, dan hampir semuanya kecuali studio rekaman ruang bawah tanah hilang. Petty dan keluarga membangun kembali tempat itu dan menurut Realtor.com:Dan kami datang ke retret Danau Sherwood Petty. Dulu terdaftar untuk dijual kembali pada bulan Mei, dan masih di pasar sebesar $ 5,895 juta. Disebut Casa Della Madonna, tempat ini dibangun pada tahun 1931 dan terasa lebih seperti Danau Como daripada California. Properti seluas 5.300 kaki persegi ini terletak di hampir satu hektar dengan dermaga pribadi. Ruang tamu memiliki dinding yang terbuat dari batu lokal, dan tambahan tahun 2004 menambahkan kamar utama yang tenang dengan bak batu yang dalam dan balkon dengan perapian.