Tình cảm giữa Hồ Xuân Hương và Nguyễn Du ngày càng thêm thân thiết. Nhưng dông bão lại kéo về với gia đình chàng. Chàng vẫn ở dinh thự Kim Âu với gia đình anh Nguyễn Nễ nhưng những lần gặp gỡ, thơ phú với Xuân Hương thưa dần. Ngày Nguyễn Du cùng anh Nguyễn Nễ về quê, Xuân Hương đi cùng anh Phạm Đình Hổ đưa tiễn chàng tại bến sông Vị Hoàng. Hai năm Nguyễn Du về quê xây lại cửa nhà. Mối tình của Xuân Hương với Nguyễn Du quá xa cách khiến cho tình cảm hai người cứ phai nhạt dần.