وفقًا لعادة أشراف [[قريش]]، أرسل خالد إلى قرية بني سعد،الصحراء، ليربّى على يدي مرضعة ويشب صحيحًا في جو بني سعدالصحراء. وقد عاد لوالديه وهو في سن الخامسة أو السادسة. مرض خالد خلال طفولته مرضًا خفيفًا [[جدري|بالجدري]]، لكنه ترك بعض [[حب الشباب|الندبات]] على خده الأيسر. وتعلم خالد الفروسية كغيره من أبناء الأشراف، ولكنه أبدى نبوغًا ومهارة في الفروسية منذ وقت مبكر، وتميز على جميع أقرانه، كان خالد صاحب قوة مفرطة كما عُرف بالشجاعة والجَلَد والإقدام، والمهارة وخفة الحركة في الكرّ والفرّ. واستطاع "خالد" أن يثبت وجوده في ميادين القتال، وأظهر من فنون الفروسية والبراعة في القتال ما جعله من أفضل فرسان عصره.<ref name="أكرم3">{{استشهاد بهارفارد دون أقواس|أكرم|1982|p=5}}</ref>
