坡棚里设立了一间实验室，并且在那里面从事大部分的化学实验工作。有时候，他会雇佣一些搬运工和赶车人将许多瓶罐、麻袋与箱子运送到单坡棚里的小红门前，而这些好奇的工人们常常会谈论起他们在那个摆放着低矮架子的房间里所看到的奇妙烧瓶、坩埚、蒸馏锅与火炉；而且他们还会压低声音做出预言，声称这个沉默寡言的“化学师”——他们实际指的是炼金术士——用不了多久就能发现哲人石了。而那些最靠近农场的邻居——距离农场四分之一英里远的芬纳家族——却有着一些更加古怪的故事。他们说，夜晚的时候，柯温的农场里会持续不断地传出某些声音。根据他们的描述，那是一些叫喊声，以及持久不息的嚎叫声；此外，他们也不喜欢看见那一大群属于柯温的家畜拥挤着出现在牧场里，因为对于一位孤单的老人和为数不多的几个仆从来说，他们根本不需要这么多的家畜来供肉、挤奶和修剪羊毛。但是，柯温仍然会从金斯敦的农夫那里购入新的牲畜，所以家畜的组成似乎也在随着时间不断变化。再者，农场里还有一座用石头修建起来的巨大附属建筑——这座建筑上只留着一些又高又狭长的裂缝当作窗户——看起来格外地让人憎恶。
而那些游荡在格雷德大桥附近的闲人中也流传着许多有关柯温的流言蜚语，而其中的很多传闻都与镇子里那座属于柯温名下、修建在奥尔尼庭院中的房屋有关；相比之下，与那座在1761年——这个男人几乎有一百岁年纪时——修建起来的新房子有关的传闻要少一些，大多数传闻都是在谈论那座有着低矮复折式屋顶、无窗阁楼以及木瓦墙面的老房子。在拆毁那座老房子的时候，柯温极端警惕地烧掉了所有从老房子里拆下来的木材。的确，这儿没有那么神秘；可是，人们却常看见房子在入夜后还会亮上好几个小时，房子里仅有的两个男仆全是皮肤黝黑、举止鬼祟的外国人，而那个年老得不可思议的法国女管家常会口齿含混却又让人毛骨悚然地喃喃自语，另外人们常看见大量的食物被送进了那座里面只居住着四个人的老房子，还经常在极为不合适谈话的时段里听见房子里传出一些模糊不清的交谈声——所有这些，再加上那些与波塔克西特农场有关的流言蜚语，给这座房子带来了一个非常糟糕的名声。
在上流社会的圈子里，柯温的家也是众人讨论的焦点；身为一个逐步融入镇教会与商人圈子的外来者，他自然认识了不少上流人士，而与这些上流人士做伴和交谈时也显得如鱼得水。他有着很高贵的出生，因为在新英格兰地区，柯温家族——或者说塞勒姆的柯温家族——是不需要人引荐的。人们纷纷认为约瑟夫·柯温在年轻的时候经常旅
