רבי יוסי סגל היה תוצר מובהק של ישיבת מרכז הרב בשנות התעצמותה בשנים שסביב מלחמת יום הכיפורים.
כל ישותו והליכותיו, כמו גם דרך חינוכו את ילדיו, היו לאור החינוך שספג מראשי הישיבה הרב צבי יהודה הכהן קוק הרב אברהם שפירא והרב שאול ישראלי אשר להם היה תלמיד מובהק.
תפילתו במשך למעלה מארבעה עשורים בישיבת בית אל הייתה מעוררת השראה.
התמקמו במקומו הקבוע בקדמת בית המדרש עם סידורו הקטן והבלוי משימוש לא היה משהו שאפשר להתעלם ממנו. היה שם קיבוע מקום, לצד תחנונים. בתשעה באב היה בוכה ממש באמירת הקינות.
בימי החגים והימים הנוראים התלוו עמו הספרים עולת ראיה ומי מרום אורי וישעי של הרב קוק והרב חרלפ.
עבור הצעירים שבאו בשערי הישיבה בבית אל היה הרב יוסי דמות מופת לשקף את ישיבת מרכז הרב האותנטית של אותן שנים מיתולוגיות שהפכו את ישיבת מרכז הרב למה שהייתה.
הרב יוסי היה מקורב מאוד לתלמידים הצעירים שהגיעו שנה לאחר שנה לישיבת בית אל והיה מזמינם לדורותיהם להיות מאוכלי שולחנו בסעודות השבת וכך עשרות רבות אם לא אפילו מאות מבוגרי ישיבת בית אל זכו להיות מאוכלי שולחנם של הרב יוסי ותיבדל לחיים טובים וארוכים, רעייתו המחנכת הדגולה, אורית.
הרב יוסי שפע בסיפורים על אותם הימים של ישיבת מרכז הרב בכלל ובפרט על חבריו הנספים בטבח בבית הדסה בחברון ובעיקר היה מבליט את שם חברו צבי גלאט הי"ד והיה מקפיד לומר כשספר התורה בידו אל מלא רחמים בשבת היארצייט שלהם.
היה מדקדק במנהגי הציבור בתפילה ותמיד מברר שנעשו כפי המסורת של ישיבת מרכז הרב שממשיכה בישיבת בית אל. כל עולה לתורה בכל שמחה שעשו לו "מי שבירך" היה הרב יוסי מיד מברר מי בעל השמחה לאיזו שמחה פקדה אותו.
היה איש חם באופן בולט ומיוחד, בעל ייסורים ועניו המעורב עם הבריות ותלמיד נאמן קרוב לרבו, ראש הישיבה בבית אל הרב זלמן מלמד שליט"א.
עשרות שנים בעל התוקע בראש השנה וקורא בתורה.
איש של הלכה, איש של מנהג, איש של הליכות ומדות תרומיות שיחסר מאד בתוככי הישיבה אותה מילא ברוחו הגדולה.
הכותב ישב על ידו בתפילה שלושה עשורים וחצי