שמגר שימש בתפקיד היועץ המשפטי לממשלה בין השנים 1968-1975 ובמסגרת תפקידו זה בנה מערכת ציבורית, המושתתת על שלטון החוק וכן מערך מסועף ונרחב של ייעוץ משפטי בכל חלקי השלטון. העקרונות שהתווה במסגרת תפקידו משמשים ומגדירים עד היום את מערך הייעוץ המשפטי.

​

שמגר התמנה לשופט בבית המשפט העליון בשנת 1975 ושימש כנשיא בית המשפט העליון בין השנים 1983-1995. בתפקידו זה עסק במשך שנים ארוכות בעשיית צדק ובפסיקה ענפה בכל תחומי המשפט, אשר הרחיבה והעמיקה את תרומתה של מערכת המשפט לבניית המדינה בכל התחומים, לחיזוק עצמאותה של מערכת המשפט ולביצור זכויות הפרט והערכים הדמוקרטיים של מדינת ישראל.  שמגר הוביל את פסיקת בית המשפט בסוגיות החשובות והמרכזיות ביותר אשר עמדו על הפרק, ויצרו עקרונות ואבני דרך אשר מלוות את מדינת ישראל במשך שנים רבות. כמו כן, הקים שמגר את בנין בית המשפט העליון בקרית הלאום בירושלים אשר מסמל את חשיבותה ונגישותה לציבור של מערכת המשפט.

​

בכל שנותיו הוא עסק בתרומה למדינה במגוון דרכים, לרבות הובלתן של ועדות חקירה שעסקו בנושאים מרכזיים כגון רצח ראש הממשלה רבין, הטבח במערת המכפלה, אחריות המדינה לצוללי נחל הקישון, התוויית עקרונות למשא ומתן לשחרור שבויים ועוד. בשנת 2006 גיבש צוות בראשותו, במסגרת המכון לדמוקרטיה, הצעה שלמה ומפורטת לאימוץ חוקה למדינת ישראל. הוא פעל בהתנדבות בהובלת ארגונים רבים בתחומי החינוך, המורשת, העלייה, האמנות, הרווחה והעזרה לזולת.  הוא זכה להערכה מכל חלקי הציבור על עשייתו ומעורבותו, אשר קיבלה ביטוי בהענקת פרס ישראל על תרומה מיוחדת לעם ולמדינה וכן פרסים ועיטורים רבים נוספים.