榴莲是“臭名昭著”的水果，有多少人喜爱它就有多少人讨厌它。许多著名的引述都尝试表达榴莲的味道和气味。引用广泛的也许是博物学家阿尔弗雷德·拉塞尔·华莱士（Alfred Russel Wallace）给出的描述：“它的果肉可食，黏稠性和味道难以形容。浓郁的奶油冻加扁桃仁味是好的概括了，但阵阵飘荡的气味也令我想起奶油干酪、洋葱汁、雪莉酒和其他毫无关联的菜肴。果肉浓厚、黏糊糊、入口即化的感觉是其他任何水果都没有的，也增加了它的风味。它不酸、不甜、不多汁，但它不需要这些品质，因为它本身就是完美的。它不会使你产生恶心或其他不良的感觉，吃得越多，就越停不下嘴。”显然，华莱士是榴莲的忠实粉丝。榴莲迷们都奉其为水果之王，甚至很多人都说这是好的食物。不过，榴莲经销商一定会对许多关于榴莲的描述感到哭笑不得。例如美国电视名厨安东尼·波登（Anthony Bordain）曾说过，“（吃了榴莲后）你的口气闻起来就像你和去世的祖母接了个法式吻”，旅行作家理查德·斯特林（Richard Sterling）形容榴莲的气味“像猪粪、松节油和洋葱，混合了健身房袜子的味道”。
人类关于榴莲价值的意见显然大相径庭。相比之下，野生和家养的动物却都超级喜爱榴莲。众所周知，大象、猩猩、猪，甚至老虎和灵猫都为榴莲心醉神迷。榴莲的许多俗称，如“灵猫树”和“灵猫果”即源于此。甚至它的拉丁名种加词“zibethinus”也来自印度灵猫（Viverra zibetha） 。没错，灵猫爱吃榴莲，这种水果闻起来也有点灵猫的味道，然而榴莲的俗称是否与之相关就不确定了。
榴莲的人类粉丝常常指出，对它的嗜好是后天“修炼习得”的。这似乎是我们会吃多种反常或重口味的食物的一个缩影。这也可能说明，我们食用奇特的臭气熏天、火辣辣的或引起幻觉的作物，部分原因在于我们自身，而不在于植物。一些相关的化合物明显令人上瘾。但随着榴莲、辣椒之类的影响使我们的味蕾变得麻木不仁时，我们为取得与之前同等的效果就需要加大剂量。除了生物学解释，也许还有文化认同和文化地位的原因。吃些带点儿刺激的东西，可以使我们显得更具男人味，或者让我们感觉自己融入了某个群体。