מחקר: גובר הצורך במודל מבוזר של מאגרי נתונים

מחקר: גובר הצורך במודל מבוזר של מאגרי נתונים
מאת: מערכת Telecom News, 2.8.22, 13:50

מהם 3 האתגרים העיקריים הנוצרים מהפער בין הצורך בגישה מהירה יותר לנתונים לבין הצורך בריכוז הדאטה במאגר אחד? באילו 4 פרקטיקות מעוניינים ארגונים כדי לעמוד באתגרים, שאיתם הם מתמודדים? המחקר נערך בקרב 400 מקבלי החלטות בתחום מערכות מידע, ואנשי מקצוע, שעוסקים בניהול נתונים מחברות ממגוון רחב של מגזרים.
 
מחקר שוק, שהוזמן ע"י החברות סטארברסט ורד האט מגלה, ש-55% מהארגונים טוענים, שהקורונה העלתה באופן משמעותי את חשיבות הגישה לנתונים. כתוצאה מכך, ארגונים מתכננים לתעדף גמישות המגיעה מתשתית מרובת עננים בבואם לבחור פתרונות לתשתית הנתונים שלהם. זאת, מאחר שהמעבר לתשתית, שתאפשר מהירות וגמישות בגישה לנתונים, הכרחי לצורך ההצלחה של העסק והיכולת שלו לספק חוויית משתמש אופטימלית בסביבה המשתנה במהירות של היום.
 
המחקר נערך בינואר 2022 בקרב 400 נשאלים בארה"ב, בריטניה, קנדה, צרפת, גרמניה, אוסטרליה וסינגפור. החברה, שערכה אותו, היא חברת מחקר עצמאית בשם Enterprise Management Associates. המשתתפים היו מקבלי החלטות בתחום מערכות המידע ואנשי מקצוע, שעוסקים בניהול נתונים מחברות המשתייכות למגוון רחב של מגזרים, בהם תעשייה, ייצור, קמעונאות, טלקומוניקציה, פיננסים ועוד.
 
המחקר מצביע על כך, שארגונים גלובליים מסתמכים יותר ויותר על דאטה, ומופעלים עליהם לחצים שהגישה לנתונים תהיה טובה יותר כדי לענות על דרישות הלקוחות בעידן דיגיטלי מתקדם ומהיר.

הפער בין הצורך בגישה מהירה יותר לנתונים לבין הצורך בריכוז הדאטה במאגר אחד מייצר 3 אתגרים עיקריים:

1) הפרישה של הנתונים מתרחבת באופן מורכב: 43% מהמשתתפים במחקר דיווחו, שהארגונים שלהם משתמשים בממוצע ב-4 עד 6 פלטפורמות של דאטה. 11% מהמשתתפים דיווחו, שהם משתמשים ב-12-10 פלטפורמות במקביל.

יתרה מזאת, הארגונים משתמשים בסוגים חדשים של נתונים המתווספים לסביבת העבודה שלהם בקצב הולך וגובר. 65% מהמשתתפים בסקר ציינו, שעיקר הדאטה, שהם מתכננים להוסיף לסביבת העבודה, הם נתוני סטרימינג. 60% מהמשתתפים ציינו, שהם מתכננים להוסיף לסביבת העבודה שלהם נתוני וידאו ונתונים מאירועים.
 
2) בעיות שהולכות וגדלות בתהליך העבודה הלינארי העוקב אחר פייפליין: בעקבות מגפת הקורונה ארגונים חייבים להאיץ את תהליך קבלת ההחלטות שלהם, שנסמך על דאטה, כדי לעמוד בציפיות המשתנות במהירות של הלקוחות. עם זאת, 48% מהמשתתפים במחקר ציינו, שנדרשות יותר מ-24 שעות כדי ליצור פייפליין של דאטה. 51% מהמשתתפים ציינו, שדרושות  24 שעות נוספות כדי להזרים את הדאטה בפייפליין עד לייצור.

משך הזמן מקשה מאוד על מענה עסקי בזמן אמת. כל זאת, בשילוב עם הצורך בגישה מהירה יותר לדאטה, גורמים לחברות לנטוש את צורת העבודה באמצעות פייפליין ולעבור למודל מבוזר יותר, או כפי שהוא נקרא Data Mesh.
 
3) בינה מלאכותית ולמידת מכונה מגבירות את הלחץ על מערכות שונות: נתונים מדעיים (למידת מכונה ורשתות נוירולוגיות) הפכו להיות הדאטה החשובה ביותר בתהליך העבודה, מה שמעמיס עוד יותר על פלטפורמות נתונים מורכבות ממילא. ארגונים צריכים לעבד כמויות עצומות של נתוני בינה מלאכותית ולמידת מכונה כדי להניע תהליכי עבודה.

31% מהמשתתפים במחקר אמרו, שהעובדה, שנתונים כל הזמן זזים ומשתנים, מקשה עוד יותר על מציאתם. זאת, בתוספת המאמץ למצוא מקורות לנתונים מדעיים, מצריכים אוטומציה טובה יותר של תהליך העבודה וגישה טובה יותר לנתונים שישפרו את המודלים של הבינה המלאכותית ולמידת המכונה, ויפחיתו את הצורך במציאת מקורות חדשים.

המחקר גם גילה, שארגונים מעוניינים ב-4 פרקטיקות כדי לעמוד באתגרים שאיתם הם מתמודדים:

1) יצירת גישה מהירה יותר לדאטה: בעקבות האתגרים, שהציבה בפנינו הקורונה בשנתיים האחרונות, ארגונים מבינים, שהם חייבים לייצר גישה מהירה ואמינה יותר לדאטה בכל זמן ובכל מקום. זאת, כדי לייצר חוויית לקוח טובה (33% מהמשתתפים ציינו זאת כסיבה המרכזית לצורך בגישה מהירה יותר לנתונים), להצליח להתמודד עם התנודתיות של השוק (29% מהמשתתפים ציינו זאת כסיבה) ולהגביר את המחויבות של העובדים לארגון (29% מהמשתתפים ציינו זאת). 
 
2) מעבר למודל דאטה מבוזר יותר: יש יתרונות רבים לגישה של ריכוז הנתונים במאגר אחד, בהם עלות נוחה יותר, רמת שליטה גבוהה יותר בנתונים וניהול טוב יותר. יחד עם זאת, הריכוז של הנתונים מלווה גם בסיכון מוגבר ובגמישות מוגבלת. חוסר הגמישות הזה עלול לפגוע ביכולת של העסק להסתגל לסביבה שמשתנה במהירות.
 
3) אוטומציה של מערכות חיוניות: האתגר המרכזי, שאיתו מתמודדים ארגונים, הוא סביבת עבודה היברידית מרובת עננים (40% מהמשתתפים במחקר ציינו זאת כאתגר). ארגונים מעוניינים באוטומציה של מערכות מסיבות שונות. 38% מהמשתתפים במחקר ציינו את הצורך באוטומציה כדרך לשמור על יכולת התחרות של הארגון, עם התמקדות באוטומציה של תשתית הנתונים הבסיסית ושל תהליך ההעברה של הנתונים. 33% ציינו את הצורך ביצירת מנוע חיפוש חכם ו-32% ציינו את הצורך בהטמעת נתוני בינה מלאכותית ולמידת מכונה כדי לשפר החלטות עסקיות.
 
4) סביבה מרובת עננים שמאפשרת גמישות: המשתתפים ציינו, ש-59% מהנתונים של הארגון כבר נמצאים בענן לעומת 41% באתר החברה. 43% מהמשתתפים במחקר ציינו, שסביבה מרובת עננים, שמאפשרת גמישות, היא הגורם הכי משמעותי בהחלטות רכישה. 34% מהמשתתפים ציינו, שהגורם הכי משמעותי בהחלטות רכישה הוא היכולת לשלב את המערכות באופן הדדי.

ג'סטין בורגמן, מנכ"ל ומייסד שותף של סטארברסט: "הדאטה היא נשמת אפו של כל עסק בכלכלה הדיגיטלית.תוצאות המחקר מראות, שלארגונים יש דרישה ברורה לייצר גישה מהירה ומאובטחת יותר לנתונים, אבל הגישה המסורתית, ששולטת בארגונים, מעכבת את ההתייעלות. ככל שיש יותר ויותר נתונים מסוגים שונים, וככל שתהליכי העבודה המסורתיים לא מצליחים לענות על האתגרים הכרוכים בהתרחבות הדאטה, ארגונים מעוניינים בגישות חדשות, כמו, למשל, ארכיטקטורת Data Mesh, שמייצרת מודל דאטה מבוזר".
 
סטיבן הולס, מנהל בכיר בתחום הנדסת התוכנה בחברת רד האט: "לקוחות, שמייצרים יישומים נתמכי בינה מלאכותית ולמידת מכונה, חייבים להישען על מערכת נתונים, שמאפשרת נגישות, כדי להאיץ את פיתוח המודלים ואת יצירתם של יישומים חכמים בסביבות עבודה היברידיות מרובות עננים. באמצעות יצירת בסיס לנתונים וליישומים בארכיטקטורת ענן, מפתחים ומדעני נתונים יכולים לעמוד ביעדים העסקיים שלהם בצורה מהירה ויעילה יותר ולספק יישומים חכמים שמבוססים על דאטה".