How much is too much AI?

הימים שקדמו לאירוע היו קצת מורטי עצבים עם התחממות קצרה בזירה האיראנית והכל אבל ואוו, בתחילת השבוע שעבר הצלחנו, כנס ה .NEXT on Tour שלנו היה הצלחה אדירה עם כמעט 700 אורחים, כנסיית השכל על הבמה ופידבקים ממש ממש מעולים, תודה למי מכם שהיה!

במסגרת הכנס, היה לי הכבוד לדבר על פתרון ה AI שלנו, Nutanix Enterprise AI, עליו כבר סיפרתי לכם יותר מפעם אחת והפעם היה לי העונג לארח על הבמה גם חברים מDell, לנובו, סיסקו ואינטל וכל אחד מהם הציג זוית אחרת ורמה אחרת של פתרון.

אחד הדברים שדיברתי עליהם היה הדרישה של ממשלת ארצות הברית מאנת'רופיק להסיר את המודלים הכי מתקדמים שלה ולחסום אליהם גישה באופן מיידי, דרישה שממש אתמול הוסרה. דיברנו גם על אתגרים נוספים וביניהם הצורך לשלוט בעלויות או מה שנקרא לפעמים token economy והנה רק היום מתפרסם בכלכליסט ראיון עם אלכס קארפ, מנכ"ל פלנטיר, שמדבר גם הוא על האתגר הזה ולדבריו ממש דובר על בועה וניפוח מחירים והוא קורא לזה "מס עושר".

בכלל, כמי שעובד בעיקר מול חברות אנטרפרייז, אני מאד מהופנט מהפער בין שני צידי הבית. בצד אחד כולנו שומעים כל היום על ההתקדמות המדהימה שחברות עושות באימוץ פתרונות AI, על כמה יצירתיות הטכנולוגיה הזו מאפשרת על כמה היא יעילה ועל כמה זה קל ומהיר לרוץ קדימה בעזרת כלי AI שונים. בצד השני ארגונים עדיין סוחבים זנבות טכנולוגיים ארוכים מאד, בין אם בשימוש בסביבות mainframe או בשימוש בשרתי חלונות 2000, תחנות חלונות 7 או שרתי לינוקס 4 ואני חושב שהחברות האלו יחיו עוד הרבה מאד שנים ככה, רגל פה רגל שם.

יתרה מזאת, גם הפער נכון לעכשיו רק גדל, אם מסתכלים למשל על שימוש ב AI בעולם של mainframe, אז יש כל מני כלים לבדיקת קוד קובול מבוססי AI או חלופין כלים להמרה, מודרניזציה, והסבה של קוד קובול לעולמות אחרים באמצעות AI אבל למיטב ידיעתי כרגע כלי AI שמבצעים למשל RAG בעולמות מיינפריים  מעט מאד אם בכלל. היחידים שאני מכיר בכל אופן בחלל הזה הם Geniez AI, אתם מכירים עוד פתרונות כאלו? ספציפית למיינפריים או באופן כללי כאלו שמגשרים בין העולמות? ספרו לי!

עוד בשבוע שעבר, גם חבר צייץ שהבת שלו רוצה אפליקציה שמזכירה לשתות מים ואין לו גישה לכלי AI בחשבונות המתקדמים והיקרים יותר ושאל מי פנוי באלנבי. החלטתי להרים את הכפפה, הוירטואלית.

אחד האתגרים הכי גדולים שלי ברמה האישית והפרטית ביותר בעולם ה AI זה שאני לא בנאדם מאד יצירתי. נגיד פעם מאד אהבתי לצייר עצים ושרשראות הרים, וזהו, אני לא יודע לצייר שום דבר אחר ואם תתנו לי דפים וצבעים תקבלו ציור של עץ או של שרשרת הרים. אז קפצתי על המציאה, מישהו אחר היה יצירתי ואני רק צריך לנסות לבנות את זה.

התחלתי עם ג'מיני וג'מיני היה קצת עצלן והצליח לשכנע אותי שאפליקציה לאנדרואיד זה ממש מסובך אז אולי כדאי לי ללכת על בוט ווטסאפ במקום. זרמתי. בעצתו ניסינו ללכת על תצורה מבוססת n8n כי לכאורה יש להם באופן מובנה את כל האינטגרציות הנדרשות גם עבור whatsapp וגם עבור מודלי AI והכל חינם חינם רק תבוא תיקח.

יצא פצ'קריי אחד גדול, שרפתי טוקנים מימין ומשמאל אבל העסק לא התרומם ובכל צעד בדרך משהו לא עבד חלק כמו שג'מיני טען. זה לא היה בדיוק וזה לא התחבר וזה קיבל שגיאות והתייאשתי ופניתי לקלוד שיגאל אותי מייסורי.

קלוד היה הרבה יותר קואפרטיבי. הסברתי לו מה אני רוצה, הוא שאל כמה שאלות הבהרה, ביקש קצת הרשאות ויצאנו לדרך. כל התהליך היה אוטומטי ונוהל על ידי קלוד עד שהסנטינל-1 שמותקן על המחשב שלי החליט שהגזמנו ואת השלבים האחרונים נאצלתי לבצע באופן ידני כמו פלח. התקנתי android studio, לחצתי shift+F10 כדי להריץ build והגדרתי טלפון וירטואלי כדי לראות את האפליקציה.

זהו. סה"כ שעה וארבעים בערך מפרומפט ראשון לבילד ראשון. אחר כך בימים הבאים היו עוד שתי גרסאות ואפילו ביצעתי git commit ליצירה החדשה שלי.

בקיצור אם מישהו מחפש אפליקציה שמתזכרת מדי פעם לשתות מים ומחכה שתצלמו לה את השתיה כדי לאפס את התזכורת עד הפעם הבאה, דברו איתי, אני אשף AI!

שלכם כרגיל,

ניר מליק

הרבה מילים בלי תמונות על איך יצאתי אהבל אבל ההתעקשות השתלמה בסוף ואולי מאוחר יותר יהיה דמו חדש

את השורות האלו אני כותב במטוס בדרך לפריז, כרגע מעל זאגרב.

רציתי לכתוב את הפוסט הזה בבית בסופ"ש אבל הוא לא רצה להתפסט, כלומר, רציתי לחלוק אתכם דמו של משהו אבל לא הצלחתי להרים את המעבדה המחורבנת.

בהתחלה נלחמתי בשרת עצמו, זה לא אמור להיות מאד קשה להתקין אובונטו על שרת פיזי אבל זה לא עבד חלק וניסיתי יותר מגרסה אחת וניסיתי ליתר בטחון גם להתקין רוקי וגם זה לא עבד עד שמצאתי את הקונפיגורציה הנכונה והתקנתי אובונטו בתצורה מינימאלית אבל עם התקנה אוטומטית של דרייברים ל GPU ובלי LVM על תצורת הדיסקים והופל'ה זה רץ כמו שצריך ואז התחיל החלק הכייפי באמת.

מה שרציתי לעשות זה לרוץ לפי הוראות של חבר שלי סיימון בפוסט הנהדר הזה שלו שמסביר שלב אחרי שלב איך לפרוס microK8s ועליו את Nutanix Enterprise AI ואז בסוף להקליט לכם דמו על השדרוגים האחרונים הכלולים בגרסה 2.5. אבל.

דבר ראשון הקישור בסוף הפוסט להורדה של הסקריפט וקובץ היאמל לא עבד לי ואפילו לא הראה שום תגובה אז אמרתי לעצמי מה הבעיה יש את כל הפקודות נרוץ על קופי-פייסט וסלאם סלאם. אז זהו שלא.

ביליתי את כל הסופ"ש עם טרמינל פתוח למעבדה בחצי מסך שמאל, ג'מיני בחצי מסך ימין והפוסט על מסך שני ושום דבר לא עבד חלק עד שהתייאשתי ולמרות שסופ"ש שלחתי הודעה לסיימון שאני מקבל שגיאות כאן וכאן וכאן ודבר ראשון שהוא אמר זה שאני משתמש בגרסה לא נכונה של microK8s ולמרות שהתבאסתי חשתי הקלה מסויימת שהנה אפשר להתחיל מחדש. וגורנישט.

אז סיימון תיקן את לינק ההורדה בפוסט ושם שם זיפ במקום טאר וזה עדיין לא עבד לי עד שהבנתי שכרום חוסם לי את הלינק בלי שום התראה ויצאתי טיפש שוב והורדתי את הקבצים ויצאתי לדרך עם הסקריפט והיאמל ושיר חדש בלב והכל רץ רץ והסתיים חלק. ובובקעס.

אז נתתי עוד חצי של דיבאג עם ג'מיני ומצאתי את הגדרות הניתוב השגויות ונתתי לפוד כתובת חיצונית נקיה ובשעה טובה יש לי NAI מותקן ועונה!

אבל בשלב הזה עם וויפי של אל-על ושכנה ישנה מיימיני ההקלטה של הדמו תחכה כבר.

אה וגם כשהתחלתי להקליד היה לי בראש שם מצחיק לפוסט הזה אבל שכחתי אותו.

בברכת בשורות טובות, שתמיד אלוהי הטרמינל יחייכו אליכם!

שלכם כרגיל,

ניר מליק