קושי במערכת יחסים, אני רוצה לעזוב אותה, זה הדבר הנכון לעשות?

אתחיל ברקע קצר:
לפני שנה בערך הצטרפה למקום העבודה שעבדתי בו, עובדת חדשה. בהתחלה לא היה בנינו קשר, אבל לאחר שעזרתי לה בפתרון משברים אישיים שהיו לה במקום העבודה, הלך הקשר בנינו והתחזק. ב-4 חודשי ההיכרות הראשוניים בילינו הרבה זמן ביחד ולאט לאט מערכת היחסים הלכה והתחזקה (לפחות מהצד שלי) עד שהרגשתי שאני מתחיל להתאהב. בהתחלה, ניסיתי לרמוז זאת בדרכים עקיפות באמצעות פלירטוטים, קניית מתנות, וניצול רוב הזמן ביום יום להיות בצילה כאשר הבחנתי כי היא נענית לפלירטוטים ומחפשת את תשומת הלב שלי שמתבטאת בהתקרבות אליי. בהמשך, כחודש וחצי לאחר התחלת הפלירטוטים, הצעתי לה להגדיל את הקשר ולהפוך אותו לקשר זוגי. היא סירבה, וביקשה שנשאיר את הקשר בנינו כקשר ידידותי בלבד. חשוב לי להדגיש שההצעה לשר הייתה זמן קצר אחרי שהתפטרתי מהעבודה שבה עבדנו ביחד.
לאחר מכן, המשכנו להיות בקשר בערך כ-4 חודשים (עד היום) כאשר במהלך התקופה הזאת אני מרגיש כי הקשר לא עושה לי טוב... מצד אחד באמת הייתה תקופה של כ-3 חודשים שלא הרגשתי אליה רגשות רומנטיים, אבל כן הייתי חושב עליה רוב היום מתוך דאגה והתעניינות במה שהיא עוברת והייתי מחכה במשך כל יום לשיחות בערב. פעמים רבות היא לא ענתה או שגם במקרים בהם היא הייתה עונה השיחות לא זרמו והיא הייתה יבשה. ולכן החלטתי לקחת צעד אחורה כי הרגשתי כי היא אולי מנסה להגן עליי מפני שאולי אתאהב בה בהמשך. בערך כיומיים מאז שלקחתי את אותו הצעד, היא שלחה לי הודעה שהיא מעוניינת שנדבר ושנמשיך להיות ידידים ושלא נוותר על מערכת היחסים שיש בינינו ולכן הסכמתי לחזור לקשר.
בהתחלה הקשר (יחסית) זרם ולפני כשבועיים ועד היום אני מרגיש ששום דבר לא זורם. כאילו אני שבוי בתוך מעין מעגל שאני מאוד רוצה לצאת ממנו אבל לא יודע כל כך איך. מצד אחד, אני חושב עליה כל היום ודואג לה. וכאשר אני מנסה לדבר איתה השיחות שלנו מאוד יבשות עד לרמה שאני יוצא מאוד פגוע מהשיחות האלו ולא מסוגל לתפקד לאחריהן. לאחרונה (לפני כחודש) היא הכירה מישהו חדש ועל אף שבהתחלה באמת לא היה לי איזה שהוא רגש שונה כלפיה, אני מרגיש שאני מתחיל להתאהב מחדש. הרצון האישי שלי הוא לעזוב את הקשר אבל קיימות לי 2 בעיות:
1. אני לא יודע אם זה הדבר הנכון- אולי אפספס משהו בעתיד כתוצאה מהקשר הזה
2. אני לא יודע איך לעשות זאת מבלי לפגוע בה.