מפתחת ה-Graph Search מפייסבוק: "האינדקס מכיל יותר מטריליון תכונות"

דף הבית >> פורומים וביטקוין >> חדשות הפורומים והבלוגוספרה >> מפתחת ה-Graph Search מפייסבוק: "האינדקס מכיל יותר מטריליון תכונות"
מפתחת ה-Graph Search מפייסבוק: "האינדקס מכיל יותר מטריליון תכונות, פי 2 מהאינדקס של גוגל"
 מאת: נירית וייס-בלט, 2.9.13 20:55נירית וייס-בלט
 
בלעדי: בוועידה השנתית השנייה ל-Big Data & BI שמענו על תשתית החיפוש החברתי של פייסבוק, על השימושים השונים ב-Big Data למטרות שיווק, ולקינוח על הגנת הפרטיות.
  
הוועידה השנתית השנייה ל-Big Data & BI, בארגון "מידע כנסים", התקיימה ביום שני ה-2 בספטמבר 2013, במלון ליאונרדו סיטי טאוואר, רמת גן. מנחה הוועידה היה ד״ר אוהד ברזילי מהמחלקה לניהול טכנולוגיה ומערכות מידע, הפקולטה לניהול, אוניברסיטת תל אביב. את הקהל באירוע ניתן היה לחלק ל-2: מצד אחד אנשי שיווק (בסגנון "אני רוצה להניב מה-Big Data תועלת למותג") ומצד שני אנשי פיתוח טכניים (בסגנון "אני אדאג לתשתית, לטכנולוגיה ולניתוחים המסובכים"). הסימביוזה ביניהם מחויבת המציאות, אך ניתן היה לזהות בקלות את שני הקטבים.

הנואמת המרכזית והמעניינת ביותר (לטעמנו) הייתה לי-טל משיח, מפתחת תוכנה בכירה בפייסבוק. לי-טל בעלת תואר שני במדעי המחשב מהטכניון ובשנים האחרונות עובדת בסיאטל בצוות המפתח את מנוע החיפוש החדש של פייסבוק, ה-Graph Search:

"בימיו הראשונים, החיפוש באתר היה של שמות בלבד (אדם, חברה, אפליקציה וכו׳), והתוצאות היו מגיעות עפ״י המידע על המשתמש. לאחר מכן, הוסיפו את המילוי האוטומטי המתבצע על-בסיס הרשת החברתית של המשתמש. זו הייתה התקדמות אך עדיין היינו במסגרת של חיפוש שמי.

ה-Graph של פייסבוק מכיל אוסף של ישויות והקשרים ביניהן, עם פירוט הפעולות ההדדיות (לייק, תיוג וכו׳). ה-Graph Search מוסיף למעשה חיפוש על הקשרים המצויים בגרף. יש לגרף דקדוק (grammar) ייחודי המופיע על ההתחלה (ב-AutoComplete) כדי ללמד את המשתמשים כיצד לעבוד עם הכלי. דוגמאות לשאילתות: מי מהחברים של החברים שלי עובד בפייסבוק? כך, דרך אגב, הגעתי לפייסבוק. אנשים מתל אביב האוהבים שחמט? התוצאות תסודרנה עפ"י הקרבה אליי ברשת החברתית. התמונות שאהבתי? אקבל את אוסף התמונות שעשיתי עליהן לייק. תמונות של חבריי מלפני 20 שנה? תוצגנה רק התמונות הישנות. מסעדות בתל אביב שהחברים שלי עשו עליהן לייק? אני סומכת על החברים שלי ולכן אבחר מרשימת התוצאות.

האתגרים:
1. יש מעל למיליארד משתמשים בחודש, מעל ל-240 מיליארד תמונות, יותר מטריליון קשרים, המחולקים לאלפי סוגים שונים.
2. הצורך לתמוך בשינויים הנעשים בזמן אמת. בכל יום מיליארד רשומות חדשות זקוקות לסידור באינדקס ובתוך שניות.
3. תמיכה בשאילתות מורכבות.

התשתית שבנינו בפייסבוק נקראת חד-קרן (unicorn). אנחנו משתמשים בתשתית כ-In-memory database. האינדקס מכיל מידע קיים ומידע מעדכונים חיים בזמן אמת. אנחנו מאנדקסים את כל עדכוני הסטטוסים.
 
יש יותר מטריליון תכונות בגרף של פייסבוק, ככל שידוע לי, זה בשני סדרי גודל יותר גדול מהאינדקס של גוגל. שפת השאילתות תומכת ב-and וגם ב-or, עבור בקשות מורכבות. השאילתה מועברת ל-Top Aggregator, כאשר היא מתורגמת לשפה של יוניקורן, משם המידע עובר ל-Rack Aggregator ומשם ל-Index Server. מדובר במעבר בין ורטיקליים שונים כדי לתת מענה לקשרים בין הישויות בפייסבוק.

השלבים הבאים בפיתוח פרויקט ה-Graph Search:
- לפתוח את כלי החיפוש המתקדם לעוד מדינות בעולם (כרגע רק בארה"ב) ולשפות נוספות (כרגע רק באנגלית).
- להכיל את הכלי גם באפליקציית המובייל של פייסבוק (כרגע רק ברשת).
- יש עוד שיפורים לדירוג של התוצאות".

מתוך הפאנל ""When Marketing meets Big Data:

מיכל רביב-קדושים, סמנכ״ל שיווק, AIG: "בזמן שלקוח מצטרף לחברת ביטוח הרבה נתונים נאספים אודותיו (מצב סוציו-אקונומי, כרטיסי אשראי, מגורים וכו׳) ובעזרת אנליטיקה ניתן להביא את ה-Next best offer. אופרטיבי לעתיד: התמחור הסגמנטלי הנוכחי יוחלף בתמחור פרסונלי, למשל באמצעות קופסה שחורה באוטו שתתעד את הנהיגה האישית של האדם ועפ״י הנתונים יתומחר הביטוח. בהיבט האתי: אנחנו לא עושים שום צעד בלי היועץ המשפטי שלנו (מה ניתן לאסוף ומה לא)".

תמי גורמן-כהן, סמנכ״ל שיווק, מועדון ״חבר״: "בעזרת מערכות Big Data אנחנו מגיעים לפרסונליזציה גבוהה עבור חברי המועדון שלנו. דוגמא מארה״ב: במועדון של ה-Navy, ברגע שנולד ילד, מציעים למשפחה את ליווי הביטוח שלו, ליווי החינוך שלו וכו'. הצרכנים יציבו לנו את הגבול מבחינת האתיקה".

דייב יקר, Global ecommerce Manager, אופטיקנה: "פעילות ה-e-commerce של אופטיקנה קיימת מזה כשנה, אנו מציעים את מותגי הבית שלנו ברחבי העולם. בעזרת ה-Big Data אנחנו מנסים לזהות טרנדים של צריכת מוצרים, תמחור נכון וכו׳. גילינו, שלפעמים מילה מסוימת גורמת למוצר להימכר יותר. המגמה היא שיווק ישיר שנותן חוויה ממוקדת יותר וזו המטרה. מערכות השיווק הולכות ומשתנות וראוי שאיש השיווק ישלוט בעולם האנליטי הזה".
 
עמית שגיא, סמנכ״ל שיווק, אקסלנס בית השקעות: "הרבה ארגונים מסתכלים עדיין בצורה חשודה על הנעשה ברשתות החברתיות, עולם ה-Big Data מקשר בין הרבה משתנים והרבה מנהלים מתקשים לעבד את המידע המורכב הזה. איש השיווק העתידי, בנוסף ליכולות האנליטיות, עדיין יצטרך להיות יצירתי בכל הקשור לאסטרטגיה השיווקית ופרסום המותג שלו".

עו״ד אבי רימון, שותף בכיר, משרד עו״ד גלוזמן ושות׳, הרצה על "ביג דאטה והגנת הפרטיות באינטרנט":

"אנחנו מוכנים לספק המון מידע בהתנדבות, ברשתות החברתיות, במועדוני צרכנות וכו׳. אנחנו מוכנים לשלם את המחיר כדי לקבל הטבות. עתיד התופעה מודגם בסרטון הבא (משעשע או עצוב- תשפטו בעצמכם): The Big Brother Pizza Shop. סוגי המידע: מידע ישיר, יצירת פרופיל מתוך נתוני מעקב, הצלבת מידע בין מאגרים שונים.  

מתי נפגעת הפרטיות? האם המידע מזוהה עם אדם מסוים? אם כן, האם ניתנה הסכמה לחשיפת המידע המזוהה?
אירופה: הסכמה אקטיבית, מתן אפשרות בחירה להשתמש בלא חשיפה. אירופה מחמירה יותר בנושא זכויות האדם ומציגה גישה יותר הגנתית ופטרנליסטית. ארה״ב: מספיק גילוי נאות מקדים. הדגש הוא על שקיפות. הגישה היא שהמידע האישי הוא כמו רכוש, שניתן לסחור בו.

גישות בין-יבשתיות:

ארה״ב
- שקיפות: איזה? איך? לאיזו מטרה?
- מתן אפשרות שלא להיות נעקב ושלא למסור מידע
- זכות הגישה למידע
- שמירה על שלמות המידע ואבטחתו
- האפשרות למחוק מידע מיושן או להפוך אותו לאנונימי
- עידוד רגולציה עצמית.

אירופה
- צריכה להיות הצדקה נאותה לאיסוף המידע ועיבודו
- צריכה להינתן הסכמה מפורשת לאיסוף המידע הפרטי
- זכות להתנגד לProfiling-. אין לעבד מידע על בסיס מוצא אתני, דת, השתייכות לארגוני עובדים וכו׳. (בישראל השיווק דווקא מתבסס על חלוקה למגזרים השונים- שיווק למגזר הרוסי, החרדי וכו׳).

איך אוכלים את העוגה ומשאירים אותה שלמה? הפתרונות להגבלות:
אנונימיזציה: הפשטת המידע ממרכיבים מזהים מובהקים.
פרסונליזציה של ״אנונימיים״: שימוש במרכיבי זיהוי של אמצעי התקשורת (IMEI), שתילת ״עוגיות" (cookies), מזהים אנונימיים וכו׳.
חומות סיניות: הפרדה בין מאגרי המידע המכילים מידע מזהה לבין אלו שלא.

העתיד- החמרת הרגולציה:
ביג דאטה
EU - Data Protection Reform
- לשון פשוטה במסגרת מתן ההסכמה
- הגברת דרישות השקיפות
- איסור על Profiling הפוגע בנדון
- זכות לקבל העתק מהמידע
- זכות לתקן את המידע
- זכות למחוק את המידע
- חובת שימוש בכלי אנונימיזציה
- הטלת קנסות כבדים למפרים

בארה״ב נשמעים קולות להחמרה, אבל אין שינוי ממשי.

Consumer Privacy Bill of Rights

- פישוט תהליכי הבחירה של הצרכן
- הגברת השקיפות
- עמידה בהתחייבות כלפי הצרכן
- אבטחת המידע
- האפשרות לתקן את המידע
- חובה להיפטר ממידע מוגן לא נחוץ או אנונימיזציה שלו

הפועל היוצא לתעשייה:
- כלי אנונימיזציה
- יצירת מערכות כפולות: מידע מזהה ומידע אנונימי
- כלי פיקוח עבור מנהל הגנת המידע
- הגברת מערכת אבטחת המידע ותחכום במערכות ההרשאה
- כלי שליטה ואכיפה לעמידה בדרישות רגולטוריות".
 
ועידת ביג-דאטה



 
 
Bookmark and Share


 

לוח מודעות
מחפשים הגנה מושלמת על הגלישה הניידת והנייחת ועל הפרטיות מפני כל תוקף? הפתרון הזול והטוב בעולם - כאן.

לוח אירועים וכנסים של עולם ההיי-טק - כאן.

מחפש מחקרים? מאות מחקרים עדכניים מהשנה האחרונה מצויים כאן

מחפש תוכנות חופשיות? תוכל למצוא משחקיםתוכנות לפרטיים ותוכנות לעסקיםתוכנות לצילום ותמונות, הכל בחינם.


מעוניין לבנות ולתפעל אתר אישי או עסקי מקצועי? לחץ כאן.


 




לוח האירועים המלא לגולשים מצוי כאן.



15-16/9/2020 - ChipEx2020  

19/5/20 - EcoMotion 2020   



 

הכי ניצפים 

דירוג הסמאטרפונים הטובים ביותר בעולם לנובמבר 2019 עפ"י Business Insider - כאן

תאגיד השידור - "עלינו". איך עשו עלינו סיבוב והשאירו את אגרת הטלוויזיה - כאן

כל מה שלא מספרים לכם בתחום "השוק הסיטונאי" - פרק א': בזק - כאן

כל מה שלא מספרים לכם בתחום "השוק הסיטונאי" - פרק ג' - ההפסד הצרכני - כאן

כמה מפסידים בביצועים של הפס הרחב במעבר ל"שוק הסיטונאי"? - הרבה - כאן

למה מבלבלים את המוח לציבור בנושא המכונה "שוק סיטונאי"? - כאן

למה בכלל צריך להחליף / לרכוש נתב במעבר ל"שוק סיטונאי"? - כאן

איך אני יודע כמה מגהרץ יש בחיבור LTE? מי ספק הסלולר המהיר בישראל? - כאן

חשיפת המחדל המדהים המוסתר מהציבור של הרס רשתות הסלולר - כאן

חשיפת מה שאילנה דיין לא פרסמה ב"ערוץ 2" על תעלולי השר משה כחלון - כאן

איך רבע מיליון לקוחות נפלו בפח ועברו להסדר המכונה בטעות "שוק סיטונאי" - כאן

ההגנה המושלמת על הגלישה ניידת והנייחת ועל הפרטיות מפני כל תוקף - כאן

מבחן דרך: חיבור VPN - האם זו ההגנה המושלמת על הגלישה ועל הפרטיות? - כאן

המשך חשיפת הבלוף ששמו "מהפיכת הסלולר" ואיך מסרסים את הנתונים לציבור - כאן

סיכום ביקור בסיליקון ואלי - למה 3 הגדולות משקיעות ומפתחות באותם תחומים - כאן

שלמה פילבר (עד לאחרונה מנכ"ל משרד התקשורת) - עד מדינה? הצחקתם אותי! - כאן

"יש אפליה בחקירה"? חשיפה: למה השר משה כחלון לא נחקר עד היום? - כאן

חשיפת חשד לשחיתות הדומה לזו של "תיק 4000" אך בתחום הסלולר - כאן

חשיפת ההונאה הגדולה שהובילה לכך שמוצרי התקשורת יקרים יותר בישראל - כאן

בלעדי לקוראי האתר: 1 ש"ח ליום שיחות וגלישה ללא הגבלה בחו"ל... - כאן

חשיפת מה שלא רוצים  שתדעו בעניין פריסת אנלימיטד (בניחוח בלתי נסבל) - כאן

חשיפה: איוב קרא אישר לקבוצת סלקום בדיוק מה שביבי אישר ל-Yes ולבזק - כאן

האם השר איוב קרא היה צריך בכלל לחתום על האישור, שנתן לקבוצת סלקום? - כאן

האם ביבי וקרא קבלו בכלל תמורה עבור ההטבות הרגולטוריות שנתנו לסלקום? - כאן

המסמכים בנושא בזק-Yes (תיק 4000) מוכיחים "תפירת תיק" לאיש הלא נכון! - כאן

עובדות ומסמכים המוסתרים מהציבור: האם ביבי כשר תקשורת עזר לקב' בזק? - כאן

מה מקור ה-Fake News שהביא לתפירת תיק לביבי והעלמת החשודים הנכונים - כאן

אחת הרגליים של "תיק 4000 התפור" התמוטטה היום בניצחון (כפול) של בזק - כאן

איך כתבות מפנקות הפכו לפתע לטובת הנאה שהיא מיסודות עבירת השוחד? - כאן

שערוריית הקנס הענק על בזק וחשיפת "תעודת הביטוח" של נתניהו בתיק 4000 - כאן

תיק 5000: סלקום - IBC לא תפרוס סיבים ותרכב על גב הרכוש הפרטי של בזק - כאן

ערוץ 20: "תיק תפור": אבי וייס חושף את מחדלי "תיק 4000" - כאן

התבלבלתם: גיא פלד הפך את כחלון, גבאי ואילת לחשודים המרכזיים בתיק 4000 - כאן

פצצות בתיק 4000: האם היו בכלל התנגדויות למיזוג בזק-יס? - כאן

נמצא מסמר נוסף בארון הקבורה של תיק 4000 התפור - כאן

נחשפה עוד עובדה חשובה בדרך אל ההלוויה של תיק 4000 - כאן

תיק 4000 לא הושלם: האם היועמ"ש קיבל את כל המידע הנחוץ לחקר האמת? - כאן

תיק 4000: גם תקנות התקשורת התומכות בגרסת נתניהו לא נכללו בחקירה - כאן

חשיפת שקרים נוספים בתיק 4000: הטעיית הציבור נמשכת ללא הרף - כאן

תיק 4000: נחוצה ועדת חקירה ממלכתית לגבי "אישום" שר התקשורת - נתניהו - כאן

תיק 4000: חשיפת "דבר ראשון" בעניין היועמ"ש - היבטים חמורים חדשים - כאן

תיק 4000: היועמ"ש לממשלה אישר "מיזוג" בזק-יס. צריך ועדת חקירה ממלכתית - כאן

אוסף הטעויות בתיק 4000: "אני מאשים" - לא חתרו כלל לגילוי המאת - כאן

שערוריית תיק 4000: איך יש 2 גרסאות שונות של כתב החשדות של היועמ"ש? - כאן

ערוץ 20: אבי וייס חשף טענות שגויות בכתב החשדות נגד רוה"מ בתיק 4000 - כאן

תיק 4000: חשיפת מסמך נוסף שיסייע גם הוא לחיסול תיק 4000 התפור - כאן

ערוץ 20: אבי וייס ואלי ציפורי חשפו שקרי הפרקליטות לגבי ההדלפות בתיק 4000 - כאן

תיק 4000: מתי מדוע ואיך הוא הפך מ"תיק בזק" ל"תיק תפור" ומחורר? - כאן

הספינים והשקרים בתיק 4000 חזרו. הם חלק מניסיון הפיכה שלטונית שיש לחקור - כאן

סודות ושקרים בפרקליטות והיועמ"ש: מי היה ב"ניגוד עיניינים" בתיק 4000? - כאן

תיק 4000 יושלך לפח האשפה של ההיסטוריה עקב חקירה רשלנית ללא מסמכים - כאן

תיק 4000: מסמר נוסף ענק לארון הקבורה שלו (פרי חשיפה של אלי ציפורי) - כאן

תיק 4000: בעיות זיכרון, חקירה משובשת ושקרים המכוונים להפיכה שלטונית! - כאן

חשיפות חדשות בעקבות הדלפת עדויות שלמה פילבר - "עד המדינה" בתיק 4000 - כאן

האם "תיק 4000" התפור אכן בדרכו ל"פח האשפה של ההסטוריה"? - כאן

חשיפת הכזבים של היועמ"ש מול האמת המוכחת לגבי ההדלפות בתיק 4000 - כאן

פוטש בשידור חי: את מי שהיה צריך לעצור ולחקור זה את "עד המדינה" פילבר! - כאן

תיק 4000: האם נוכל לנחש שהחשיפה כאן תהיה הגרזן הסופי שיפרק את התיק? - כאן

תיק 4000: הביזיון של כתב האישום הבדיוני דורש ועדת חקירה ממלכתית - כאן

האמת המוסתרת מהציבור בתיק 4000: פירוט 20 שקרים / אלי ציפורי ואבי וייס - כאן

איך זה שהיחיד שדיווח אמת בפרשה שהתפתחה לתיק 4000 - קיבל כתב אישום? - כאן

תיק 4000: ההדלפות לכלכליסט כביכול נגד רוה"מ דווקא מצביעות על חפותו - כאן

"נקודת האפס" - Ground Zero  שבו החלה תפירת תיק 4000 נחשף - כאן

למה לא נפתחה חקירה ב"תיק 5000" ומתבצע שימוע נוסף של הטבות ל-IBC? - כאן

החלטות של מש' התקשורת בעניין "ההדדיות" ממוטטות עוד לבנה בתיק 4000! - כאן

חשיפת הסיבה לתפירת תיק 4000 ב"נקודת האפס": "פרשת עורכי הדין"! - כאן

חשיפה בלעדית: מסתירים עוד מסמכים ש"מפוצצים" את תיק 4000 לרסיסים! - כאן

פירוט 60 שקרים בתיק 4000 (ויש עוד) שמסתירים בכוונה מהציבור! - כאן

"הנדסת התודעה" בתיק 4000 לא מסתיימת ותימשך בחודשים הבאים! - כאן





 
זרקור חברות
 
GETTER
 
NORDVPN
 
Telecom Expert
 
טלקום אקספרטס
 
NordVPN
 
עדן אימון עסקי
 
כמה זה? השוואת מחירים
 
PIXABAY
 
Telecom Experts
 
טלי וייס
 
 
Slideshare Linkedin Twitter
Youtube Instagram Facebook
Google+ live Zappix
Bitly Vimeo Pinterest
אנדרואידאנדרואיד-ברקוד אפל ברקודאפל

 
  מהירות גלישה Your IP שירותנט
לייבסיטי - בניית אתרים