而那些游荡在格雷德大桥附近的闲人中也流传着许多有关柯温的流言蜚语,而其中的很多传闻都与镇子里那座属于柯温名下、修建在奥尔尼庭院中的房屋有关;相比之下,与那座在1761年‐‐这个男人几乎有一百岁年纪时‐‐修建起来的新房子有关的传闻要少一些,大多数传闻都是在谈论那座有着低矮复折式屋顶、无窗阁楼以及木瓦墙面的老房子。在拆毁那座老房子的时候,柯温极端警惕地烧掉了所有从老房子里拆下来的木材。的确,这儿没有那么神秘;可是,人们却常看见房子在入夜后还会亮上好几个小时,房子里仅有的两个男仆全是皮肤黝黑、举止鬼祟的外国人,而那个年老得不可思议的法国女管家常会口齿含混却又让人毛骨悚然地喃喃自语,另外人们常看见大量的食物被送进了那座里面只居住着四个人的老房子,还经常在极为不合适谈话的时段里听见房子里传出一些模糊不清的交谈声‐‐所有这些,再加上那些与波塔克西特农场有关的流言蜚语,给这座房子带来了一个非常糟糕的名声。
在上流社会的圈子里,柯温的家也是众人讨论的焦点;身为一个逐步融入镇教会与商人圈子的外来者,他自然认识了不少上流人士,而与这些上流人士做伴和交谈时也显得如鱼得水。他有着很高贵的出生,因为在新英格兰地区,柯温家族‐‐或者说塞勒姆的柯温家族‐‐是不需要人引荐的。人们纷纷认为约瑟夫&iddot;柯温在年轻的时候经常旅行,去过很多地方,而且他曾在英格兰生活过一段时期,还曾至少两次坐船去过东方;当正式发言的时候,他的说话方式像是一个博学而又有教养的英国人。但出于某些原因,柯温并不热衷于社交。虽然他从未有意地冷落过任何一个访客,但是柯温始终都在自己面前竖着一道含蓄克制的高墙,以至于很少有人能想到可以和他说些什么话题却又不会显得自己空洞无聊。
此外,他的行为举止里似乎也潜藏着某些隐秘而又不屑的傲慢与自大,仿佛他曾与某些更加古怪也更加强大的存在打过交道,并且发现所有的凡人都非常乏味无趣。1738年,当风趣智慧而又赫赫有名的查克理博士从波士顿调来担任国王教堂教区牧师的时候,他曾刻意地拜访了这位他在不久之后将会经常听人提起的怪人;但查克理博士只在柯温家中待了很短的一段时间,便起身告辞了‐‐因为他从主人的谈话中察觉到了某种险恶不祥的暗流。查尔斯&iddot;瓦德与自己的父亲在一个冬天的傍晚讨论起柯温的种种事迹时曾告诉父亲‐‐他非常想知道这个神秘的老人到底对那个精力充沛的神职人员说了些什么,但所有留下日记的人都一致声称查克理博士根本不愿意复述他听到的任何内容。这位好牧师被吓坏了;虽然他以举止欢快得体闻名,但他回忆起约瑟夫&iddot;柯温的时候却从未表现过丝毫的高兴与文雅。
不过,另一位有品位有教养的先生回避这个傲慢隐士的理由却要明确得多;1746年,一位在文学与科学方面颇有见识的英国老绅士,约翰&iddot;梅里特先生,从纽波特搬到了镇子上‐‐因为当时普罗维登斯的地位已飞快地超过了纽波特。他在奈克街‐‐也就是现在最佳住宅区的中心地段‐‐修建了一座漂亮的别墅,并且过起了极为时尚而舒适的生活。梅里特先生最早在镇子里用上了四轮马车和穿着制服的仆从。此外,他还为自己拥有的望远镜、显微镜以及大量精选出的英文和拉丁文藏书感到非常自豪。在得知柯温拥有全普罗维登斯最好的图书馆后,梅里特先生早早地拜访了他。而柯温接待他的时候,也远比接待其他访客时要亲切热诚得多。梅里特先生对房子主人那宽敞而又丰富的书架大加赞赏‐‐这些书架上除了摆放有希腊文、拉丁文以及英文写就的古典名著外,还同样摆放着一系列引人注目、论述哲学、数学及科学的著作,包括了帕拉塞尔苏斯、阿格里科拉、范&iddot;海尔蒙特、西尔维厄斯、格劳伯、波义耳、布尔哈夫、比彻以及史塔等人的著作。梅里特先生的赞赏让柯温感到非常高兴,于是他进而邀请客人去他的农场和实验室去看一看‐‐在这之前,他从未邀请任何人去过那里;等两人达成一致之后他们便立刻坐上了梅里特先生的四轮马车出发了。
梅里特先生始终坚持称自己并没有在那座农舍里看到任何恐怖的东西,但是他说自己参观了一间柯温用起居室改造出的特殊图书馆‐‐图书馆里收录的都是些与奇术、炼金术和神学有关的著作‐‐光是那些著作的名字就足够激起了他持久的嫌恶和厌恨。然而,或许藏书拥有者在展示这些书籍的时候所流露出的神情也在很大程度上造就了这种偏见。虽然这些藏书中也有着大量寻常普通的著作‐‐这些书籍并不让梅里特先生觉得担忧焦虑,反而有些嫉妒‐‐但除此之外,柯温还有着大量离奇怪异的收藏。这些奇异的藏书几乎涵盖了人们所知道的一切与犹太神秘主义学家、恶魔学者以及魔法师有关的典籍;就占星学及炼金术等惹人怀疑的领域而言,这里的藏书简直可以称得上是一座知识宝库了。这里有梅纳尔版的《三重伟大者赫耳墨斯》《哲人集会》、贾比尔的《研究册》,还有阿特法兹的《智慧之匙》;除此之外,犹太神秘哲学中的《光明篇》、皮特&iddot;吉米那一全套的《大阿尔伯特集》、赞斯特版拉蒙&iddot;柳利所著的《终极而伟大的艺术》、罗吉尔&iddot;培根所著的《化学的宝藏》、弗拉德的《炼金术之匙》、特里特米乌斯的《哲人石》也紧紧地靠在它们的侧旁。此外,这里还有着大量中世纪的犹太文献与阿拉伯文献。而当梅里特先生拿出一本显眼地标注着《伊斯兰习俗》的完好典籍时,他的脸色变得苍白了,因为他发现这本书实际上是那本由阿拉伯狂人阿卜杜&iddot;阿尔哈兹莱德编著的禁书《死灵之书》‐‐几年前当人们发现马萨诸塞湾行省金斯波特市下面一个古怪小渔村里在举行某些无名仪式后,梅里特先生曾听说了一些关于这本书的可怖传闻。