大桥的重建工程，还在1723年与其他一些教徒共同建立了山上那座公理会教堂；但在这些年里，他却一直保持着自己那副平凡无奇的模样，而且看起来始终像是个三十、或者三十五岁出头的中青年人。随着时间的流逝，这种奇怪的特质开始引起了广泛的注意；但柯温总是解释说他继承了勤劳祖先的传统，始终过着一种非常简单朴素的生活，所以并没有因为生活而疲倦衰老。但是镇上的人们一直都不太明白这种“简单朴素的生活”是如何与这个神秘商人的种种费解举动，以及他房间里彻夜不灭的奇异灯光相互协调统一的；因此他们更倾向于提出另一些理由来解释他的长寿与青春常驻。大多数人都相信，柯温一直在混合、煮沸某些化学药剂，而这些药剂与他的秘密有着莫大的关系。有些流言传说他用自己的商船从伦敦和印度群岛带回来了许多奇异的东西，还有些传闻则声称他从纽波特、波士顿以及纽约购进了大量古怪的材料；而当来自里霍博斯的杰贝兹·鲍文医生在格雷德大桥对岸挂上“独角兽与研钵”的招牌，开了一家药店之后，便始终有传闻称那个沉默寡言的独居者在不停地向他买入与订购药物、酸以及金属。于是，人们纷纷猜测柯温私底下肯定有着极为出色的医术，因此各式各样的病患纷纷赶来向他寻求帮助；虽然他似乎不置可否地认可了这种观念，并且总是用一些颜色古怪的药剂打发那些求医者，可是，根据大家的观察，他向其他人提供的帮助极少有灵验的时候。终于，当人们意识到这个异乡人在普罗维登斯过了五十多年，可他面孔与体格看起来却只发生了不超过五年的变化时，谣言开始变得更加阴暗邪恶了；此外，超过半数的人开始想要将那些他经常出现的地方隔离孤立起来。
此外，许多同时期的日记与私人书信也揭示了大量其他的理由——可以用来用来解释为何人们会对约瑟夫·柯温感到惊讶、恐惧，并且最后像是瘟疫一般对他唯恐避之不及。他对墓园有着极端强烈的喜好，这种热爱甚至已经达到了臭名昭著的程度——人们曾在各种时间、各种环境下瞥见他出现在墓园里；可是却没人看见他做出过任何可以被称为阴森恐怖的事情。此外，柯温在波塔克西特路上有一座农场，他通常会在那儿度过夏天；不过人们也常频繁地在白天或是夜晚中的各个古怪的时间段里看见他驾着车赶向那里。除了一对面色阴沉的纳拉干西特族印第安人夫妇外，人们从未在农场里见过其他的工人——这对夫妇兼任了仆从、农夫与看门人的所有职务；那位丈夫是个哑巴，身上还有着奇怪的伤痕，而妻子的模样也特别让人厌恶——可能是因为混有黑人血统的缘故。柯温在这座房子旁的单
