《人间色相》讲述出租车司机文章（黄子华饰）与几位性格各异的人之间的情感纠葛。一年前，文章偶然遇见住在南丫岛的维族舞女阿曼（江希文饰），从此每天接送她上下班，并渐渐对她生出种种绮想。某晚，文章与一名女子发生一夜情，却因用药不当导致性无能。按照医生的建议，他在阿曼陪伴下搬到南丫岛休养。
酒吧老板娘比莉（蔡少芬饰）收留了文章，而她过去也曾是阿曼的同性情人。文章在酒吧结识女警Ron（孙佳君饰），一次醉酒后，他没有趁人之危，这反而让Ron对他产生了兴趣。没过多久，阿曼的丈夫阿东（张达明饰）从大陆来到香港。阿东自幼学画，思想十分开放，得知阿曼和比莉曾有过一段感情后，竟提议比莉与他们共同生活，但遭到比莉直截了当的拒绝。
为了帮助文章恢复性能力，Ron想尽了各种办法，却始终没有效果。与此同时，阿曼也渐渐对这位暗恋自己的男人产生了兴趣。
