תחום הביג-דאטה במניעת פשיעה פיננסית נמצא בצמיחה מהירה וגיוס עובדים

אקטימייז גדלה, מאז שנרכשה ע"י נייס, לאלף עובדים וממשיכה לצמוח ולחפש עובדים בתחום ה-Big-Data. חשיפת החידושים בעולם ה-Hadoop וה-SQL ולמה זה משמש את העולם הפיננסי בפתרונות למניעת פשיעה פיננסית, ניהול סיכונים וציות לרגולציות. 
מאת: אבי וייס, 8.2.16, 19:35

במפגש Big Data & Data Science - Israel בהשתתפות של כ-250 מפתחים, מנהלים, יועצים ומומחים בעולם ה-Big-data, שהתקיים בבית נייס ברעננה ב-2.2.16, נחשפו הכלים החדשים ביותר המשמשים כיום את המפתחים בעולם ה-Big-Data, בהרצאות, שניתנו ע"י 2 מומחים עולמיים מחברת Hortonworks, שהגיעו לארץ והיו אורחי נייס-אקטימייז. המצגת המלאה של ההרצאות ניתנת להורדה מכאן. 

אחי חכמון (בתמונה), Senior Director Architecture R&D, נייס-אקטימייז: "זה ה-Meetup השני, שאנו עורכים בתחומי הפיתוח שלנו ולא האמנו, שכל כך הרבה אנשים יגיעו לשמוע על עולם ה-Big-Data והחידושים הקיימים בו. 

אקטימייז נמצאת בצמיחה מואצת ואולי אפילו מטורפת מאז שנרכשנו ע"י נייס ב-2007. בשנה שעברה היינו כ-850 איש וכיום אנו מעל לאלף עובדים וממשיכים לגדול ולהתרחב. אנו מחפשים כיום מומחי ביג-דאטה ומפתחים המבינים בתחומים כמו Hadoop ו-Spark ומעוניינים להצטרף אלינו. אפשר לשלוח קורות חיים ל-arbell@nice.com או ל-Jobs@nice.com. 

אקטימייז היא חברה בת של נייס מערכות והספק הגדול והמקיף בעולם של פתרונות למניעת פשיעה פיננסית, ניהול סיכונים וציות לרגולציות עבור ענף השירותים הפיננסיים. החברה מספקת פתרונות, שמקורם במגוון ערוצי מידע בזמן אמת, שמסייעים למניעת הונאה והלבנת הון, חקירות פנים-ארגוניות, ניהול סיכונים ופיקוח על מסחר והבנויים על פלטפורמת תוכנה יחידה וגמישה. פתרונות החברה מוטמעים ע"י רוב המוסדות הפיננסיים הגדולים בעולם.

גולת הכותרת בפיתוחים שלנו ב-2016 תהיינה פלטפורמות ביג-דאטה בקוד פתוח, פיתוח ראשון יצא כבר ב-Q1 של 2016. התחום בו אנו עוסקים כל כך חם, כך שלא משעמם לי ולצוות הענק שלי אפילו רגע אחד. להלחם בפשיעה במגזר הפיננסי היא אתגר עצום ודורש מיומנויות הכי מתקדמות הקיימות כיום בשוק". 

טים מרסטון, (Tim Marston), (בתמונה משמאל), Director, Regional Alliances EMEA, חברת Hortonworks: "הניסיון שלנו והתוצאות הקיימות בשוק מצביעים בברור על כך, שפתרונות קוד פתוח טובים פי כמה מפתרונות קנייניים.

אנו מובילים פיתוח ב-Hadoop, שהיא כיום הפלטפורמה המובילה בעולם ה-Big-Data, פלטפורמה, שהפיתוח שלה החל ע"י מפתחים בחברת יאהו! האמריקאית. חלק מהם פרשו מיאהו! והמשיכו את פיתוח Hadoop מ-2011 באופן עצמאי והיו בין מקימי Hortonworks. כיום אנו מובילים בעולם את התחום הזה.

מערכת הפיתוח המרכזית שלנו מכונה בשם YARN Apache Hadoop) YARN), שזו מערכת הפעלה - Data Operating למידע, מערכת הנמצאת כעת בגרסה 2.7.2 שלה.

היתרון הגדול בשימוש ב-Hadoop בגישת YARN: ניתן להריץ את כל האפליקציות מכל סוג ומכל סדר גודל על כל פלטפורמה, בכל שפה ובכל סדר גודל של נתונים, בכל מקום - בהרצה יחידה.

ארגונים מבצעים פרויקטים מובילים עם Hadoop בתחומים מגוונים ולא תמצא ארגון גדול אחד בעולם שלא נכנס לתחום הזה. זה "קלף מנצח", בגלל שזה קוד פתוח.

אנו חלק מקהילת הקוד הפתוח על בסיס Apache וזו קהילה מאוד גדולה ותוססת, שמגיעה לתוצאות במהירות הרבה יותר בזריזות וביעילות מאשר כל פיתוח אחר ומכל אלטרנטיבה קניינית שיש בעולם הפיתוח.

המודל העסקי שלנו מבוסס על מוצרים, שאנו מפתחים לפי הזמנת לקוחות, לצרכים ספציפיים של עסקים וארגונים ועל תמיכה, הדרכה ותחזוקה מקיפה של פתרונות Hadoop שיש בכל התחומים". 

אנקור גופטא, (Ankur Gupta), (בתמונה משמאל), Senior Solution Engineer, חברת Hortonworks: "יש כלים בודדים היכולים לנתח מידע בצורה טובה במערכות מבוססות Hadoop. אחד מהכלים הללו הוא SQL, ועליו אנו ממליצים ללקוחות שלנו ומשתמשים בעצמנו.

פיתחנו כמה פתרונות מאוד גמישים, שייענו על כל הסוגים הנדרשים לעיבור נתונים בביג-דאטה, שמתאימים טוב לכל סדר גודל של בסיסי מידע, פתרונות קלים ליישום בארגונים ועונים על הרגולציות השונות, והכי חשוב: קלים לתפעול ע"י משתמשי הקצה.

בחרנו להתמקד ב-SQL כי הוא מוכר בשוק ומגיע עם מגוון רחב ביותר של כלים נלווים, לכל מטרה. השימוש של SQL על Hadoop שונה לגמרי מכל מה שמפתחים רגילים מכירים בעולם ה-RDBMS. 

שלושת הכיוונים הנפוצים, שבהם אנו מפתחים פתרונות ומיישמים SQL, הם: Hive, Phoenix ו-Spark SQL. השימוש באחד מהם תלוי בתצורת הפתרון המבוקש ע"י הלקוח. יחד עם זאת, Hive הוא הפתרון הבשל ביותר ומכסה הכי הרבה צרכים, אחריו Spark. 

ל-Hive יש יתרונות רבים, במיוחד היכולת לגדול לכל סדר גודל של מידע ועיבודים. החולשה שלו שהוא לא תמיד מספיק מהיר במקום שצריכים ביצועים מאוד מאוד מהירים. Hive הומצא ונבנה ע"י מפתחים בפייסבוק, שהיו הראשונים לבצע ניתוחי מידע בגישת ה-SQL על בסיס מידע של Hadoop. 

למי שמעוניין בביצועים כעדיפות ראשונה, אנו ממליצים על Phoenix, עם כל החסרונות הקיימים בפתרון הזה. אני חייב להדגיש שאין סתירה בין הכלים וניתן להשתמש בכל אחד מהם בארגון, לפי הצרכים המתפתחים של עיבוד המידע. אנו, מהניסיון שלנו, מעדיפים להשתמש ב-Hive אבל זו רק המלצה. 

יש כיום התפתחויות חדשות כדי לפתור את בעיית הביצועים ב-Hive וזה נקרא Stinger Initiative. יוזמת Stinger כבר פועלת שנה עם מאות מפתחים מרחבי העולם והיא נועדה להוביל לדור הבא של שאילתות SQL על Hadoop. המטרה של הקבוצה הזו, שאנו חלק ממנה: להאיץ את הביצועים פי 100 ממה שיש היום.

אנו כעת עוברים לשלב הבא בפיתוח הזה, שנקרא Stinger.next, שמביא לביצועים של חלקיקי שניה לכל טרנזקציה של SQL על Hadoop. אנו בשלבי פיתוח של מנוע חדש בשם Teg ומפתחים כלים נוספים בתחום הזה, כדי להגיע לאופטימיזציה מרבית של הביצועים, בגישה הקרויה CBO (ר"ת: Cost Based Optimization)". 

קרדיט תמונות: רן אופק, נייס.