איך מעבירים כמויות ענקיות של מידע לענן? במזוודה או במשאית

פתרונות חדשים, מפתיעים ומרתקים מאמזון בתחום ה-IoT, האחסון והשינוע של נתונים בדרכים חדשות לגמרי, זיהוי דיבור, עיבוד תמונה ו-Machine Learing. מנכ"ל אמזון AWS חשף פתרונות תוכנה וחומרה חדשים המתקבלים בהתלהבות בשוק.
מאת: אבי וייס, 1.12.16, 08:30

הצורך באחסון נתונים בענן בכמויות (מרמת Petabyte ועד רמת ה-Exabyte) מהרמה המקומית, הופך להיות משימה די מרתקת ואף משעשעת, כשאת הנתונים מאחסנים ומעבירים לענן במוצרי חומרה חדשים של אמזון בצורת מזוודה או במשאית.

עשרות הכרזות חדשות יצאו בבת אחת ממנכ"ל אמזון - AWS, אנדי ג'אסי (Andy Jassy) - בתמונה, ביום השני של הכנס הענקי של אמזון בארה"ב.

היות ואמזון מצויה כיום בקצב של הכרזת כאלף מוצרים ופתרונות חדשים בשנה, זה בלתי אפשרי לכסות בעמוד אחד את כל שפע ההכרזות החדשות, שהוכרזו מפיו של אנדי ג'אסי ביום אחד, בכתבה אחת. לכן, אני מציג כאן רק את ההכרזות היוצאות דופן והבולטות של היום:

• Amazon Lightsail - מאפשר להקים VPS בפעולה אחת הכוללת הכל, לרבות ה-DNS ומספר IP קבוע, במחיר מגוחך של 5 דולרים לחודש.
• F1 Instances - מאפשר האצת ביצועים בחומרה לכל יישום או שירות, בקליק של עכבר.
• Amazon Athena - יכולת BI על כל סוגי בסיסי הנתונים שיש ב-S3.
• 3 כלים חדשים בתחום ה-Machine Learning:  כלים אלה יסייעו למפתחים לבנייית יישומים:
• א. Rekognition לזיהוי תמונות ומה יש בתמונות,
• ב. Polly להמרה חכמה של טקסט לדיבור,
• ג. Lex להבנת דיבור טבעי של כל אדם.
• הפתרונות הללו מתחרים "ראש בראש" בפתרונות קיימים, למשל כל תחום זיהוי הדיבור מתחרה בפתרונות של חברות ענק דוגמת ניואנס. אמזון מקדמת ובהצלחה רבה את פלטפורמת Alexa שלה והוציאה לקראת האירוע השנתי גרסה חדשה של Echo Dot (בתצלום משמאל), מכשיר קטן, שאמור לשלוט על הבית החכם וכל מה שיש בו, באמצעות פקודות קוליות. 
• PostgreSQL for Aurora: להעברת בסיסי נתונים למשל מאורקל, לפתרונות ענן היברידי.
• AWS Greengrass - פתרון IoT חדש לגמרי ודי מפתיע, שמספק יכולות לכל המוצרים והסנסורים של IoT לעבוד מקומית עם ניהול בענן, פתרון המיועד לכל שווקי ה-IoT תוך מתן מענה לשאלה: מה קורה כשהקשר לאינטרנט ניתק. בפתרון החדש, הסנסורים יכולים להמשיך לעבוד ולתפקד עצמאית עד שיחזור הקשר לענן. יצרני הצ'יפים הגדולים בעולם ישלבו את היכולת הזו כבר משלב הייצור של החומרה של הסנסורים אצלם. 
• לאור הצלחה אדירה של פתרון האחסון הנייד בשם Snowball, החליטה אמזון להרחיב את סל הפתרונות לאחסון מקומי בחומרה שנראית כמו מזוודה ניידת מתוצרת אמזון. הגרסה החדשה של ה-Snoweball נקראת AWS Snowball Edge (בתמונה משמאל), תיבה בגודל של מזוודה בינונית המסוגלת לאחסן Petabyte של נתונים ולהעביר בזמן הפנוי מה שהארגון רוצה - לענן. האחסון המקומי בתוך המזוודה הוא של 100 טרה והחיבור נעשה ל-S3. המערכת בעלת יכולת עיבוד ו-BI עצמאית ומכילה כבר בתוכה את מערכת Greengrass. כך, שהפתרון הזה עונה כבר על כל דרישות האחסון של מוצרי IoT הנכנסים כעת בכמויות לארגונים ולעסקים בכל העולם ומייצרים כמויות ענקיות של מידע, שיש להעבירו לענן לצרכי עיבוד ושליטה. 
• ארגונים ועסקים גדולים, שיש להם כמויות ממש ענקיות של נתונים, בהיקפים של Exabyte, שזה תהליך שכבר החל בכמה ארגונים בארה"ב וגם מחוץ לארה"ב, יכולים לקבל את הפתרון המפתיע החדש: שינוע במשאית. המשאית מגיעה לארגון ומתחברת בסיבים למקורות המידע הקיימים בארגון (בד"כ ב-Data Center שרוצים לסגור אותו), אוספת את כל המידע העצום הזה, נוסעת ל-Data Center של אמזון הקרוב ששם הארגון החליט שיאחסן את המידע ופורקת שם את המידע. בכל הזמן הזה, המערכת מחוברת לאינטרנט ולענן של אמזון והמידע מוגן ומוצפן לפי החלטת הארגון, שממשיך לשלוט במידע גם כשהוא בתוך המשאית. הפתרון המפתיע הזה נקרא AWS Snowmobile (בתמונה משמאל), ואמזון כבר בנתה כמה משאיות כאלו, כי כבר בשלב הבטא ארגונים התלהבו מהרעיון והחלו להזמין את השירות הזה. המשאית עצמה יכולה לאחסון 100 Petabytes באחסון מקומי. הרעיון מגיע לאחר שבאמזון חישבו שאם לארגון יש Exabyte של נתונים, להעביר כמות כזו לענן בחיבור בסיבים, שניתן לקבל בארה"ב כיום, ברוחבי פס של 10 גיגה סל"ש, זה ייקח 26 שנה לשנע את כמות המידע הזו לענן. לכן נולד הרעיון של שינוע פיזי במשאית, תהליך שלוקח עד 6 חודשים במקום 26 שנה.

אנדי ג'אסי, מנכ"ל אמזון - AWS: "בעבר, היינו בודדים, שהאמנו שכל הארגונים, גם הממשלתים והבנקים, יעברו לענן ציבורי או לענן היברידי. זה לקח כמה שנים וזה התרחש.

אנו בעידן החדשנות והכל נהיה מהיר. כל הדיונים, שהיו לנו בעבר ,האם הענן בטוח והאם ארגונים תחת רגולציה חזקה ייעברו לענן - נגמרו. הם עברו ועוברים במהירות לענן. ארה"ב נמצאת כ-36 חודשים בממוצע לפני שאר העולם, מבחינת אימוץ טכנולוגיות הענן הציבורי או ההיברידי, גם ע"י הממשלה וגופים פיננסים ומערכות רגישות דוגמת עולם הרפואה. 

אני מאמין, שאין דבר כזה ספק אחד לענן ולכן יש מקום בשוק לכמה שחקנים. אולם, אני מאמין, שגם בעתיד נהיה מובילים ולפני אחרים בחדשנות וביישומים. אנו מחדשים כל הזמן כי אנו ארגון שעובד בצורה מבוזרת עם העצמת העובדים, שיכולים להציע ולפתח פתרונות לבד, לפי מה שהם מקבלים להלקוחות שלנו. 

זה לא מקרי, שהגיעו 32 אלף איש לאירוע השנתי שלנו, מספר שלא צפינו אותו בעבר, ויש עוד 50 אלף, שצופים באירועים באופן מקוון באינטרנט. השנה (2016) נסיים את השנה עם 13 מיליארד דולרים מכירות, עם מעל למיליון לקוחות פעילים לחודש. יש שווקים, שאנו שולטים בהם באופן מוחלט דוגמת חברות ההייטק והסטארטאפים. בתחומים ורקטיקליים - הנוכחות שלנו עולה במהירות, בכל השווקים. הסיבה: בנינו אקוסיסטם שלם עם אלפי שותפים מכל הגדלים בכל העולם ואלפי ספקי פתרונות ויישומים, שמשתמשים בנו כבסיס לשירותים, שהם מספקים. בחנות שלנו יש כבר כ-35 אלף ספקי תוכנות. לכן אנו צומחים ומובילים בתחומים הכי מלהיבים הנמצאים בצמיחה מטורפת אצלנו דוגמת ה-IoT וה-Machine Learing. כמעט כל פרוייקט IoT חדש, שנולד בעולם, מיושם באמצעות הפתרונות שלנו בענן. 

מנקודת המבט שלנו, 2014 הייתה השנה שבה הענן הפך לנורמה בשוק העסקי והארגוני וכיום אנו נמצאים בהרחבת השירותים לכל דבר, שהלקוחות מבקשים. למעשה, אנו עונים על צרכים בכל תחום עם יכולות אחסון ותשתיות תקשורת ללא כל הגבלה. אנו בעידן שבו חברות חדשות הורסות מודלים ישנים וזה קורה בכל תחום.

לכן, גם ארגונים, שהיו בעבר שמרניים, מרגישים את הלחץ ללכת במהירות קדימה, להיות יעילים ולהגיב בזריזות על דרישות השוק והלקוחות שלהם. זה קורה גם באקדמיה, בממשל ובכל מקום.

כולם מקבלים היום את מודל ה-SaaS כמודל מועדף למכירת שירותים. אנשים לא רוצים לרכוש עוד חומרה לכל דבר חדש. 14 אלף חברות כבר העבירו את בסיסי הנתונים הוותיקים שלהם מה-Data Centers הפרטיים שלהם לענן שלנו. הם ראו שזה בטוח יותר, טוב יותר, זול יותר ומאובטח יותר.

כל ארגון, שנתקל ברגולטור החושש מהענן, אנו הולכים לרגולטור ומראים לו מה אנו עושים והאישור להעברת הנתונים מגיע מייד אחרי המפגש שלנו עם הרגולטור. הזמנים של שמירת נתונים חשובים רק מקומית - נגמרו. הגישה ההיברידת מצליחה ובגדול ולכן, בגלל שזה מה שלקוחות מבקשים, הלכנו לשת"פ עם VMware. זו הצלחה יוצאת מן הכלל ל-2 החברות". 

הכותב הוא אורח של אמזון - AWS בארה"ב.

ריכוז כל ההכרזות החדשות למי שמעוניין לקבל עוד פרטים - כאן.