For at opsætte Tower of Doubt placeres seks firesidede tårne på spillepladen, og for hvert tårn kan en spiller kun se to af de fire sider. Endnu vigtigere er det, at hver spiller ser de to sider, som deres modstander ikke ser, og siderne af hvert tårn er farvet enten gule eller sorte. Kun seks forskellige kombinationer af gul og sort er mulige – alle sider gule, tre sider gule, to modsatte eller tilstødende sider gule, én side gul og nul sider gule – og spillerne forsøger at samle så mange gule sider som muligt.

For at gøre dette placerer de farvede blokke på tårnene, der fungerer som både bluff-redskaber og måder at gøre krav på tårne, og i slutningen af runden gør hver spiller krav på to tårne.