ولد بقرية "الحُمَاري" بوادي جنِّن بغرب بني شيبة بمحافظة تعز، في العام 1944م ، وينحدر من أسرة فلاحية مكافحة تعتمد على زراعة الأرض في موسم الأمطار، والقليل من أفراد الأسرة سلكوا طريق الهجرة إلى عدن وسواحل شرق إفريقيا، مثل كثير من الأفراد، الذين ضاقت بهم الحياة بفعل الاستبداد والإفقار التي مارستها سلطة الإمامة على أبناء المجتمع، ومن ضمن المهاجرين من الأسرة كان والد عبدالرحمن الذي استقر مطلع الأربعينيات في منطقة التواهي بمستعمرة عدن البريطانية، ولهذا حين أكمل الطفل المتقد تعليمه الأولي في كتاب القرية (مدرسة القُزحي)، التحق بوالده بعدن، وعمل معه في دكانه بالقرب من الميناء النشط وقتذاك، وفي ذات الوقت التحق كطالب بالمدرسة الأهلية بالمدينة، والتي كانت تستوعب الأطفال القادمين من المناطق الريفية (من شمال اليمن ومناطق المحميات القريبة من المستعمرة)، والذين لا يستطيعون الالتحاق بالمدارس الحكومية النظامية، التي كانت تشترط على الملتحقين بها أن يكونوا من مواليد المدينة، ولديهم وثائق ولادة رسمية (مخالق).

بعد أن أكمل عبدالرحمن تعليمه الأساسي في المدرسة الأهلية، انتقل لاستكمال دراسته المتقدمة في مدرسة البادري بكريتر، في وقت كانت حالة المد القومي في أوجها، بفعل الحضور الكارزمي لزعيم الأمة جمال عبدالناصر، وحالة الغليان في المدينة ضد المستعمر البريطاني وأدواته من أحزاب وكيانات، كانت تناصب العداء للمشروع القومي، بل وتحرض عليه وتتآمر على شخصياته الفاعلة داخل المدينة ومحيطها.

في هذا الجو السياسي الصاخب، وحالة الاستقطابات السياسية للاتجاهات القومية واليسارية، تشكل وعي الشاب الصغير الذي كان يتقد ثورية وحماسًا ضد الاستعمار البريطاني في الجنوب اليمني المحتل، وضد النظام الكهنوتي المستبد والمنغلق في الشمال، ولم يجد في تفريغ شحناته وحماسه في بداية الأمر سوى بالمشاركة في المظاهرات والمسيرات الاحتجاجية التي تنظمها الأحزاب والنقابات، في كل مناسبة تستدعي ذلك.

في أواخر الخمسينيات، كانت الوحدة المصرية السورية بقاطرتها السياسية (الجمهورية العربية المتحدة)، هي الأنموذج الملهم لحالة التحول، وتحت لافتاتها نشطت الأحزاب القومية واليسارية التواقة لمشروع العروبة الكبير، فكان أن انضم الشاب عبدالرحمن لحزب البعث العربي الاشتراكي في أوج حضوره السياسي في اليمن وبعض الأقطار العربية، حين كان حليفًا للنظام الناصري، وبواسطة الحزب تحصل الشاب على منحة دراسية في الكلية الحربية في القاهرة، حين كان الحزب يؤسس لجناحه العسكري إلى جانب تكويناته السياسية والنقابية النشطة، في إطار المؤتمر العمالي، وحزب الشعب الاشتراكي.

وصل الشاب إلى القاهرة في العام 1960، واستمر كطالب في الكلية لقرابة عام كامل، غير أن تسارع الأحداث، وفشل حالة الوحدة المصرية السورية، بقيام مجموعة من الضباط البعثيين وبعض الاتجاهات السياسية المناوئة لعبدالناصر ونظامه، بإعلان حالة الانفصال، وما استتبع ذلك من تضييق الخناق على البعثيين في مصر، جعلت الشاب يغادر القاهرة إلى دمشق، حيث التحق من جديد بالكلية الحربية في العاصمة السورية، بعد حركة 8 آذار/ مارس 1962.

بعد تخرجه من الكلية التحق بالجيش العربي السوري، ورابط في أكثر من جبهة قتالية حتى قيام حرب حزيران/ يونيو 1967، حيث تعين قائدًا لسرية في أحد الألوية في القطاع الجنوبي السوري الذي كان يمثل أحد أهم قطاعات الجبهة السورية المواجهة للجيش الإسرائيلي، وكان مقر قيادته في منطقة بانياس الجولان (أو بانياس الحولة) في الجزء الجنوبي الغربي من هضبة الجولان، ضمن محافظة القنيطرة السورية، عند ملتقى الحدود السورية -اللبنانية -الفلسطينية، وقد كانت له بطولات نادرة وشجاعة ضد قوات الاحتلال الإسرائيلي، إذ كان الشهيد ورفاقه يقومون بالإغارة وعمل الكمائن للقوات الإسرائيلية، ويهاجمونهم في مواقعهم.

وقد اشترك في العديد من المهام القتالية الاستطلاعية الليلية على الجبهة السورية الإسرائيلية، وقد عرف عنه أيضًا تفوقه في الرماية، ولهذا شارك في العديد من المسابقات (لأمهر الرماة) على مستوى فصائل الجيش السوري، وقد كان يحصل على مراكز متقدمة في هذه المسابقات.

حظي باحترام الضباط والأفراد الذين عمل معهم في القوات السورية، سواء على جبهة القتال أو في الوحدات العسكرية الداخلية، وحظي أيضًا بتقدير الطلبة الذين قام بتدريبهم سواء في المواقع العسكرية أو المدارس والكليات العسكرية، كما كان له نشاط واضح في رابطة الطلاب اليمنيين في سوريا التي كان يسيطر عليها الطلاب القوميون إجمالًا وقتذاك.

في منتصف عام 1968 التقى عبدالرحمن الشيباني أحد ضباط سبتمبر المعروفين، وهو حمود بيدر، أثناء زيار الأخير لسوريا، بعد أن سمع كثيرًا عن بطولاته في مواقع القتال على الجبهة السورية ضد قوات الاحتلال الإسرائيلي، وأقنعه بالعودة إلى اليمن والالتحاق بجيش الجمهورية العربية اليمنية (سابقًا)، وأيضًا للاستفادة من خبراته القتالية والنظرية، بعد أن أدى دوره القومي في الدفاع عن الأرض العربية كما ينبغي.

ونظرًا لما قام به من دور فعال في حرب 1967، ولما يتمتع به من حنكة عسكرية، فقد عرض عليه قادته في الجيش السوري الاستمرار والبقاء ضمن وحدات الجيش السوري، لكنه فضل العودة إلى صنعاء، لنقل خبراته بعد أن صار ملمًا بقواعد العلوم العسكرية وتقناتها الحديثة.

وفي منتصف 1969 عاد عبدالرحمن الشيباني إلى اليمن، وتم تعيينه أركان حرب سلاح الصاعقة، وبعد فترة قصيرة نقل إلى الكلية الحربية كمعلم، وكان يدرِّس الطلبة مادة "فنون القتال"، ومادة "أسلحة الدمار الشامل"، وبعدها تم ترقيته إلى كبير المعلمين في الكلية.

بقي في هذا الموقع لسنوات طويلة، وتتلمذ على يديه مئات الضباط الشبان، حتى العام 1977 حين تحصل على دورة عسكرية مكثفة في إحدى الأكاديميات العسكرية السعودية، وبعد فترة قصيرة من عودته تحصل على دورة عسكرية متقدمة في الولايات المتحدة الأمريكية.

في منتصف أكتوبر 1981 تولى مسؤولية رئاسة عمليات لواء السلام المرابط على الحدود بين صعدة والسعودية، وفي منطقة حساسة جدًا يتجاذبها نزعة السعودية التوسعية، ونشاط المهربين الواسع في منطقة البقع، والذي عمل عبدالرحمن وقواته على سد منافذه، فكان أن تماهت الزغبتان (رغبة التمدد والابتلاع السعودي، ورغبة المهربين) للتخلص من الرجل الشجاع.

يقول أمين إسماعيل الشيباني عن ذلك: "خلال فترة عمله تصدى لكل محاولات السعودية للتمدد أو اختراق حدودنا، ومن ضمن أكثر مواقع النزاع وقتها بعض التباب الصخرية التي تميزت بموقعها العسكري الهام، والتي حرص عبدالرحمن على التمسك بها، وهو ما أدى بالإضافة إلى تصديه لكل محاولات الاختراق، إلى نسج مؤامرة خبيثة أدت إلى استشهاده مع 7 من رفاقه الجنود من أبناء مديرية حرف سفيان، في كمين غادر استهدفهم وهم في طريقهم إلى مدينة صعدة، في 21 أبريل 1982.

ولشعورهم بالاعتزاز والتقدير لهذا الرائد الشجاع، أطلق أبناء صعدة على تلك التباب "قُلل الشيباني"، ولم يكن صدفة أن يكون الجبل المطل على منزل الشهيد في قريته بني شيبة، تحمل قمته اسم "القلة"، كما أنه ليس غريبًا على الشهيد وهو يغادر سوريا بعد خدمته الطويلة مع الجيش السوري طوال الستينيات، أن يخلف هناك تبة اسمها إلى الآن "تبة الشيباني"، وهذا ما سمعته شخصيًا من بعض الإخوة السوريين".

يقول عبدالملك مفضل: "جبال قلل الشيباني (المنسوبة إلى البطل الشهيد عبدالرحمن الشيباني) هي عبارة عن قمم لثلاثة مواقع مهمة تقع في شمال مديرية باقم، وتبرز أهمية هذه السلسلة الجبلية كونها تقع في المنطقة المحاددة لعسير، فهي تطل على منفذ "علب"، وتهيمن على الخط العام داخل عسير إلى منطقة "مندبة" التابعة لمديرية باقم محافظة صعدة من جهة الجنوب. كما أنها تهيمن من حيث موقعها العسكري على مناطق في عمق "ظهران الجنوب" من جهة الشمال".