"בית המדרש למורים העברי הממלכתי על שם דוד ילין" היה שמה הראשון, הרשמי והמלא של המכללה, אך בפי כל היא הייתה ידועה בשם "סמינר בית הכרם", שכן שוכנת היא על גבעה נישאה בלבה של שכונת בית הכרם.
המכללה האקדמית לחינוך ע"ש דוד ילין הייתה נקודת ציון חשובה ביישוב העברי עוד לפני שנקראה בשמה. באופן רשמי, היא נוסדה בשנת 1913 והייתה למוסד הראשון להכשרת מורים בארץ ישראל והיא גלגולו המאוחר של הסמינר של חברת "עזרה" להכשרת מורים אשר יסדו יהודי גרמניה, והלימודים בו היו דו-לשוניים; מקצועות כלליים נלמדו בגרמנית ומקצועות היהדות בעברית.
זמן קצר לפני היווסדה של המכללה התחוללה בארץ "מלחמת השפות" עד שחל המפנה שהביא להפעלת מערכת חינוך עברית-לאומית עצמאית. שמונה-עשר מורים ממוסדות "עזרה" בירושלים שלחו מכתבי התפטרות ובראשם עמד דוד ילין, שהיה אז סגן מנהל הסמינר. בעקבות מלחמה זו הוחלט להקים בית מדרש חדש וקראו את שמו "בית המדרש למורים העברי". הלימוד בו נעשה בשפה העברית.
בשנותיו הראשונות לא היה לבית המדרש מבנה קבע. הוא שכן במספר בניינים בירושלים עד שבראשית שנת 1925 יצא דוד ילין, מייסדו של הסמינר וגם מנהלו הראשון, לארה"ב ושם הצליח לעניין אישים ומוסדות כדי שיסייעו לו להקים קרן לבניין קבע בירושלים. בשובו ארצה פנה לוועד שכונת בית הכרם בבקשה שיינתן לו מגרש להקמת הבניין בשכונה ואכן הוחלט להקצות מהקרקע הציבורית שבמרומי השכונה ארבעה-עשר דונמים לבניית הסמינר למורים ובית ספר לילדי השכונה, מתנת שכונת בית הכרם. בשלהי שנת 1929 עבר בית המדרש למורים העברי אל בניין הקבע שלו החדש והרחב בבית הכרם.
תלמידי הסמינר השתלבו בחיי השכונה גם בימי שלום ושלווה ובעיקר בימי מאורעות ומלחמות; מאורעות תרפ"ט (1929), מאורעות תרצ"ו-תרצ"ט (1936 – 1939), מלחמת העולם השנייה, מלחמת העצמאות ומלחמת ששת הימים. הם היו חלק ממערך ההגנה והשמירה בשכונת בית הכרם ובחלקים אחרים של ירושלים.
בימי המאורעות שהיו בחודש אב תרפ"ט (אוגוסט 1929) התכנסו בבניין הסמינר שבנייתו טרם הושלמה תושבי השכונות: בית הכרם, שכונת הפועלים, קריית משה ובית וגן. התושבים על זקניהם וטפם השתכנו בכל חדרי הבניין, ובאולם, שלימים שימש אולם ההתעמלות, שוכנו הפרות והוא שימש רפת. על גג הבניין הוצבה עמדת שמירה וממנה נורתה אש רובים אל עבר פורעי דיר יאסין, הכפר שמעבר לוואדי ממערב, שניסו להגיע אל השכונה ואל בניין הסמינר. התושבים התבצרו בבניין כשבוע ימים, עד חלוף הסכנה.
בראשית שנת תרצ"ה (1935) התקינה מפקדת "ההגנה" האזורית "סליק" גדול של נשק ואולם אימונים במרתף הבניין באגף הדרומי והמקום שימש מרכז אימונים והדרכה לחברי "ההגנה" מירושלים ומסביבתה.
במאורעות תרצ"ו – תרצ"ח (1936 – 1938) הוקמה תחנת נוטרים בבניין.
במלחמת העצמאות, בשנת 1948, התרכזו בבניין הסמינר לוחמי "מחלקת ההר", שתי כיתות פלמ"ח ושתי כיתות חי"ש, שנועדו לתגבר את הכוחות בגוש עציון. כאן צוידו הלוחמים בנשק ובתחמושת ונערכו התכניות למסעם. מכאן יצאו לדרכם, בינואר של אותה שנה, ל"ה הלוחמים שנפלו בדרכם לגוש עציון בקרב לאור היום.
בימים שלפני מלחמת ששת הימים התרכז חלק מכוח הצנחנים בבניין הסמינר ובסביבתו, ודגל ישראל שהונף על הכותל המערבי לאחר שחרורו יצא מבית סמוך לבניין המכללה. מכאן יצאו הצנחנים לקרבות בגבעת התחמושת וברחבי העיר המזרחית.
בכניסה הראשית לבניין המכללה מוצב לוח עליו חרוטים שמותיהם של תושבי שכונת בית הכרם שנפלו במערכות ישראל. על אותו לוח חרוטים שמותיהם של הנופלים שהיו תלמידי המוסד ובוגריו.
מהקמתו ועד היום, נשמרה חזית הבניין כפי שנבנתה. נוספו לו שתי קומות ובהן כיתות לימוד, אולמות לפעילויות שונות, משרדי המוסד והנהלתו, ספרייה מורחבת וחדרי עיון. בשנת 1997 נסתיימה בנייתו של אולם הכנסים: "אולם התרבות ע"ש יוסף ורבקה מאירהוף" המכיל כ- 600 מקומות ישיבה, ובשנת 2003 נסתיימה בנייתו של אגף חדש מאחורי הבניין הקיים ובו שש קומות, מהן שתיים תת-קרקעיות, וחניון תת-קרקעי ובו 120 מקומות חניה.
בתחילה קלט הסמינר את בוגרי בית הספר העממי לאחר שמונה שנות לימוד, והלימודים בו נמשכו חמש שנים. תכנית הלימודים בסמינר הייתה כמו של בית הספר התיכון בארץ ישראל והשנה הנוספת נועדה להכשרה פדגוגית להוראה בבית הספר העממי.
מאז ועד היום התפתחו תכניות הלימודים והיום לומדים במכללה כ- 5,000 סטודנטים לתואר ראשון, תעודת הוראה, תואר שני, לימודי תעודה והשתלמויות ובמכינה הקדם אקדמית.
