Praeguse härrastemaja laskis aastatel 1755–1760 kõrgete võlvitud keldrite ja laudkatusega ühekorruselise mõisamaja asemele ehitada krahvinna Ebba Margaretha Stenbock. Vanema ehitise jälgi on näha praeguse häärberi keldri mõnes võlvis. Loss pidavat jäljendama üht krahvinna lapsepõlvelossi Rootsis. Projekt pärineb tõenäoliselt Joseph Gabriel Destainilt. Ehitusmeistriks oli Peter Opel. Pärast lossi keskosa valmimist külastas 1760. või 1761. aastal mõisat Vene keisrinna Jelizaveta Petrovna.
1772. aastal ehitati ühekorruselised tiibhooned, nii et lossi esiküljele moodustus auhoov. Lossis oli 64 tuba.
Mõisal olnud maa-alused käigud, millest üks olnud ühenduses Pühalepa kirikuga ning teine jõudnud välja umbes poolteise kilomeetri kaugusel asuva Ussikeldri juurde.
Hooned ehitati kohalikust paekivist. Ehitusele käsutati talupoegi kuni 30 kilomeetri kauguselt ja pärimus räägib, et müürikivid toimetati paari kilomeetri pikkuse inimketi abil käest kätte Hilleste paemurrust. Ehitustöödel kasutati mõisa oma tisleritöökoda, lukuvabrikut, sepikoda; tegutsesid oma lubjaahi ja telliselööv.
Lossi katab võimas murdkelpkatus. Katuseharja kroonib neli tüsedat karniisidega korstnat, vanasti oli lossil ka mansardkorrus. Hoone esi- ja tagaküljel on tänini säilinud kella numbrilauad. Kellalöögid olid vaikse ilmaga kuulda peaaegu Kärdlani.
Lossi esi- ja tagaküljel on esinduslikud kümne meetri laiused kivist paraadtrepid, mille ette sai sõita tõllaga. Esikülje terrass kujutas endast tervikuna suurt paraadtreppi, mida ümbritsesid vaasid, postamendid ja kujud. Samasuguste postamentidele asetatud vaaside ja kujudega oli ääristatud tagakülje trepi ette viiv tee. Mõisa ajal olid treppidel ka kahurid. Esikülje keskjoont markeerib tammepuust uks, millel on barokselt nikerdatud dekoor.
Ruumide paigutus oli esialgu rangelt sümmeetriline. Varem asusid ka kõikide idapoolsete tubade uksed ühel joonel, kuid hilisemate ümberehituste ajal on sellest paigutusest kõrvale kaldutud.
Praegune lossi sisearhitektuur pärineb osaliselt ka 20. sajandi teise kümnendi algusest, kui mõisa omanikuks oli Dorothea (Dolly) von Stackelberg.
Esinduslikest sisekujunduselementidest on säilinud esimese korruse dolomiitplaatidest põrandaga vestibüülist tõusev tammepuust nikerdatud pidulik trepp.
Esimesel korrusel asusid perekonna täiskasvanud liikmete eluruumid. Mõisahärra ruumid asetsesidki häärberi esiküljel paraadtrepist paremal pool, lossiproua ruumid olid tavaliselt peahoone vasakus osas, pargipoolsel küljel. Tema magamistuba oli kõrvalruumidega ühendatud mitte ainult ukse, vaid ka seinakappi peidetud salauksega. See nikerdatud, salakäiguga kapp on säilinud tänini.
Suuremõisa lossi esimese korruse vaatamisväärsusteks on ka paar kahhelahju, parketid ja endise söögisaali laemaal, mida ümbritseb tekst „Kes on töö juures karske ja vaga, sellele katab Issand Jumal laua”. Laemaal on säilinud ka alumisel korrusel jäägrisaalis.
Lossi vasakpoolses tiivas elas kirjutaja, seal oli ka mõisa kontor. Parempoolses tiibhoones olid mõisavalitseja ruumid.
Teise korruse balustraadiga trepihalli taga on saal, mida kaunistab stukkdekooriga lagi. Trepihallist vasakul asusid võõrastetoad ja salongid. Peatrepist paremal olid laste, ammede, guvernandi ja guvernööri eluruumid, hilisemal ajal olid laste ja koduõpetajate toad trepist vasakul.
Pööningukorrusel asusid suvetoad. Kunagi olid pööningukorruse toad kasutusel ka teenijate eluruumidena. Suvetubade vahel (suure ruumi põranda ning teise korruse lae vahel) olid peidikuks ehitatud vaheruumid, mida kirjanik Aitsam on kirjeldanud mererööviga kogutud vara panipaigana.
Keldris asusid mõisa kõrgemate palgaliste teenijate töö- ja eluruumid ning panipaigad.
Aeg-ajalt kostvat keldris kabjaplaginat – see ennustavat mõne pereliikme surma.
Mõisa kohta liigub igasuguseid salapäraseid jutte, on kuuldud hääli ja nähtud vaime. Kunagi, kui mõisas olid veel Stenbockid ja Pühalepa kirikuõpetaja oli Johann Chalenius (1741–1776), läks asi õige hulluks – vanatühi hakkas rahvast igal ööl hirmutamas käima. Lõpuks kutsuti siis kirikuõpetaja mõisast kurja välja ajama. Õpetaja tuli mõisa, viskas ennast ühte tuppa sohva peale seliti ja lõikas puust õuna pooleks. Ühe õunapoole pani laua peale, teise endale rinna peale. Vanakurja tulekust andis märku see, et lauapealne õunapool kirikuõpetaja käes oleva poolega kokku lendas. Seejärel hakanud kirikuõpetaja kurja vaimu sõnu lugema ning kõige lõpuks teinud ta iga ukse peale kolm risti ja lugenud iga akna peal seitse issameiet. Enam vanakuri mõisa sisse ei pääsenud.
Palju on räägitud lossi kummitustest. Vahel on kuulda mööbli nihutamist, uste sulgemise klõpsatusi, on tunda kellegi möödumist; arvatud on, et küllap „see” on mõisas tapetud kapten Malmi vaim … Samuti käib Suuremõisa lossis kummitamas keegi naissoost vaim, kellest suurt midagi muud enam ei teata, kui et „tema” ei ole pahatahtlik.