كان عمر رضي الله عنه قد طُعن، فقال له الناس: أوصِ يا أمير المؤمنين، استخلف. قال: ما أجد أحدًا أحق بهذا الأمر من هؤلاء النفر أو الرهط الذين توفي رسول الله ﷺ وهو عنهم راضٍ. فسمّى عليًّا وعثمان والزبير وطلحة وسعدًا وعبد الرحمن. وقال: يشهدكم عبد الله بن عمر وليس له من الأمر شيء، كهيئة التعزية له. فإن أصابت الإمرة سعدًا فهو ذاك، وإلا فليستعن به أيكم ما أُمّر، فإني لم أعزله عن عجز ولا خيانة. وقال: أوصي الخليفة من بعدي بالمهاجرين الأولين أن يعرف لهم حقهم ويحفظ لهم حرمتهم، وأوصيه بالأنصار خيرًا، وأوصيه بأهل الأمصار خيرًا، وأوصيه بذمة الله وذمة رسوله ﷺ أن يوفى لهم بعهدهم وأن يقاتل من ورائهم ولا يكلّفوا إلا طاقتهم.
فلما مات عمر ودُفن، اجتمع الرهط. فقال عبد الرحمن بن عوف: اجعلوا أمركم إلى ثلاثة منكم. فقال الزبير: قد جعلت أمري إلى علي. وقال طلحة: قد جعلت أمري إلى عثمان. وقال سعد: قد جعلت أمري إلى عبد الرحمن. فقال عبد الرحمن لعلي وعثمان: أيكما يتبرأ من هذا الأمر فنجعله إليه، والله عليه والإسلام، لينظرنّ أفضلهم في نفسه؟ فأسكت الشيخان. فقال عبد الرحمن: أفتجعلونه إليّ، والله عليّ أن لا آلو عن أفضلكم؟ قالا: نعم.
فأخذ بيد أحدهما فقال: لك قرابة من رسول الله ﷺ وقِدَم في الإسلام ما قد علمت، فالله عليك لئن أمّرتك لتعدلنّ، ولئن أمّرت عثمان لتسمعنّ ولتطيعنّ. ثم خلا بالآخر فقال له مثل ذلك. فلما أخذ الميثاق قال: ارفع يدك يا عثمان. فبايعه، فبايع له علي، وولج أهل الدار فبايعوه.
وفي رواية المسور بن مخرمة أن عبد الرحمن شاور الناس في أمرهم. قال المسور: طرقني عبد الرحمن بعد هجعٍ من الليل، فضرب الباب حتى استيقظت، فقال: أراك نائمًا، فوالله ما اكتحلت هذه الليلة بكبير نوم، انطلق فادعُ الزبير وسعدًا. فدعوتهما له، فشاورهما، ثم دعاني فقال: ادع لي عليًّا. فدعوته فناجاه حتى ابهارّ الليل، ثم قام علي من عنده وهو على طمع، وقد كان عبد الرحمن يخشى من علي شيئًا. ثم قال: ادع لي عثمان. فدعوته فناجاه حتى فرّق بينهما المؤذن بالصبح.
ثم ثم لما صلى الصبح اجتمع الرهط عند المنبر، وأرسل إلى من كان حاضرًا من المهاجرين والأنصار، وإلى أمراء الأجناد. فلما اجتمعوا تشهّد عبد الرحمن ثم قال: أما بعد يا علي، إني قد نظرت في أمر الناس فلم أرهم يعدلون بعثمان، فلا تجعلنّ على نفسك سبيلًا. ثم قال لعثمان: أبايعك على سنة الله ورسوله والخليفتين من بعده. فبايعه عبد الرحمن، وبايعه الناس: المهاجرون والأنصار، وأمراء الأجناد، والمسلمون.