胡斐最爱的女人是袁紫衣。胡斐是胡一刀的儿子，在寻找凤南天的路上遇到了袁紫衣，袁紫衣长得漂亮关键性格活泼，胡斐对其一见钟情。

胡斐喜欢袁紫衣，对其死心塌地，更为了她放走了坏人三次。

胡斐在解决了父仇之后，想要和袁紫衣远走高飞，只可惜袁紫衣出家了。