הניסיונות הראשונים להקמת קו רכבת יפו-ירושלים החלו כבר ב-1839. איש עסקים אנגלי ממוצא יהודי, משה מונטיפיורי, פנה לממשלת האימפריה העות'מאנית בבקשה לבנות את המסילה. במקביל, היזמים הבריטיים צ'נץ ומקניל פיתחו מסלול של קו הרכבת. They even made a trip to Palestine in an attempt to determine their preferred route. מונטיפיורי התייאש מניסיונותיו ב-1862. ואז נכנס לעניין המהנדס האמריקאי-גרמני קארל זימפל. הוא תכנן את תווי המסילה, שנבנתה כשלושה עשורים לאחר מכן.

ב-1888 קיבל יוסף נבון, בנקאי ואיש ציבור ירושלמי, רישיון להקמת מסילת רכבת ומכר אותו לקבוצת משקיעים צרפתים. ב-31 במרץ 1890 הונחה אבן הפינה של מסילת הברזל ליד הכפר יזור (כיום אזור). סלילת המסילה, שהייתה הראשונה בארץ, הסתיימה כעבור שנתיים. הפתיחה החגיגית התקיימה בתחנה הסופית - ירושלים ב-26 בספטמבר 1892. קו יפו-ירושלים המקורי כלל חמש תחנות ביניים - לוד, רמלה, סעיד (היום ליד מושב טל שחר), דיר אבאן (כיום בית שמש) וביתר.

התחנות נבנו בסגנון צרפתי וכללו מחסנים לסחורות, מוסכים לקטרים וקרונות וקנטינות.

בין הנוסעים המפורסמים שהיו בין הראשונים שנסעו על הקו היו הקיסר הגרמני וילהלם השני ובנימין זאב הרצל.

למסילת הרכבת יפו-ירושלים הייתה חשיבות רבה במלחמת העולם הראשונה. המפקדות הצבאיות של טורקיה וגרמניה היו ממוקמות בירושלים והם השתמשו במסילה כדי להעביר אספקה לאנשי צבא ואזרחים. עם פרוץ המלחמה הלאימו השלטונות התורכיים את מסילת הרכבת, שהייתה רכוש צרפתי, הרחיבו את המסילה מ-100 סנטימטר ל-105 וחיברו אותה באזור לוד לרשת הרכבות החג'אזית העות'מאנית - הקו המחבר את דמשק עם חצי האי ערב.

לאחר תום המלחמה הרחיבו הבריטים את המסילה ל-145 סנטימטרים, תוך התאמת הקו לסטנדרט אנגלי.

במהלך מלחמת העצמאות הפף הקו והתחנות ליעד לחבלה ופיגועים. עד שנת 1998, עם הפסקות קצרות, המשיך הקו לשרת נוסעים ולבצע הובלת מטענים.