איך להוזיל את עלויות ה-AI בארגון ולשמור את המידע בבית: שני פתרונות

הדיון על עלויות השימוש במערכות LLM עולה שוב ושוב. מנכ"לים ו-CFO מקבלים את החשבונות על כלי ה-AI, ולא תמיד מבינים אם זה באמת משתלם (רמז: אם יודעים למנף את הכלים, זה מאוד משתלם).

ברשת רצים המון טיפים איך לחסוך. הפעם אני רוצה להציע גישה שפותרת שתי בעיות בבת אחת: העלויות, ואבטחת המידע.

כי אחת הדרישות שאני שומע הכי הרבה היא שהמידע לא ייצא מחוץ לשרתי הארגון. ובמקביל, כולם רוצים להשתמש ב-AI כדי לייעל את העבודה.

והפתרון, שרבים נוטים להתעלם ממנו, הוא להריץ את המודלים אצלכם. זה לא פתרון מלא, אבל הוא זול משמעותית, בטח אם בונים אותו נכון.

פתרון ראשון: שרת GPU לארגון

שרת GPU חזק בעלות של כ-500 עד 2,000 דולר בחודש, תלוי בצורך, יכול לשרת ארגון של 100 עובדים. כי בפועל לא כולם משתמשים במודל באותו רגע, ולא כולם מריצים את השאילתות הכי מורכבות.

מתקינים עליו מודלים פתוחים כמו Qwen או Gemma, פותחים חשבון לכל עובד, ואפשר לבנות גם דשבורד שמראה כמה באמת משתמשים בכלים בארגון.

פתרון שני: מחשב אחד עם כרטיס מסך טוב

את זה יישמתי לאחרונה עם אחד הלקוחות שלי, והפתרון הזה כנראה יפתיע אתכם.

הלקוח צריך לייצר הרבה סרטונים, ומי שמייצר וידאו ב-AI מסביב לשעון יודע כמה זה יקר. בנינו לו מחשב ביתי עם כרטיס מסך איכותי, בהשקעה חד-פעמית של כ-10,000 שקל (בפועל זה עלה הרבה פחות, אבל לא חושפים את כל הסודות ביום אחד).

זה עובד ברמה של Plug & Play: מזינים פרומפטים, והמחשב מייצר. הייצור איטי יותר מאשר בשירותים אונליין כמו Kling או Seedance, אבל מבחינה כלכלית זה משתלם מאוד, כי העלות לסרטון כמעט אפסית. וגם אם תשקיעו במחשב יקר יותר עם כמה כרטיסים במקביל, החשבון עדיין משתלם, בטח לחברות מדיה והפקה.

מבחינה ויזואלית, Seedance מוציא תוצרים איכותיים יותר. אבל בביצועים בסושיאל, ה-engagement שקיבלנו היה זהה.

וכמובן, על אותו מחשב אפשר להריץ גם סביבת LLM מלאה, שיושבת בתוך הארגון, מאובטחת ועם הגבלות גישה מבחוץ.

בקיצור, החיסכון נמצא מול העיניים. מחשב עם שניים-שלושה כרטיסי מסך חזקים יכול לתת לכמה עשרות עובדים פתרון AI מלא, בתוך הפורטל הארגוני ומותאם לצרכים שלכם, בתשלום חד-פעמי שיכול לשרת אתכם לתקופה ארוכה מאוד.

מה עדיין כדאי להשאיר למודלים הגדולים

לפיתוח מורכב, מודלים לוקאליים עדיין לא שם. לכתיבת קוד רצינית ולעבודה עם סוכנים אני ממשיך לעבוד עם קלוד, פשוט אין לו תחליף, והפער שם עדיין משמעותי.

אבל רוב השימוש בארגון הוא לא פיתוח. זה כתיבה, סיכומים, ניתוח מסמכים, מענה פנימי ועבודה עם מידע רגיש. את כל אלה אפשר להעביר למודל שרץ אצלכם, ולהשאיר את המודלים היקרים רק לפעולות ולעובדים שבאמת צריכים אותם. וגם במקרים האלה, לא תאמינו כמה חברות פיתוח עובדות על מנוי Pro של 20 דולר לחודש בלבד. רק אל תשכחו לכבות בו את האימון על המידע שלכם.

ומי שלא בטוח איך מתחילים, מוזמן ליצור איתי קשר.