لما ولي الخلافة سليمان بن عبد الملك ، نَكبَ يزيد بن أبي مسلم ، وأُدخلَ عليه مُكتَّفًا ، فلما رآه ضؤل بعينه وازدراه ، وقال : لعن الله من أجرَّكَ رسنه ، وحكَّمَكَ في أمره !
فقال يزيد : رأيتني والأمر مدبر ، ولو رأيتني في عزي لقلت خلاف ما قلت !
فقال : صدقتَ ! ثم قال له : أترى الحجاج وصل قعر جهنم ؟!
فقال : هو يمين أبيكَ -عبد الملك بن مروان هو من ولاه الحجاز ثم العراق بعد ذلك ، وأوصى ابنه الوليد بألا يعزله ، وأن يستعين به- ، وشمالُ أخيكَ ، فضعه فيها حيث أحببتَ !
فقال سليمان : اغربْ لعنَكَ اللهُ !