ב -2 ביוני, על פי התקשורת הזרה המפענח דיווח ב -1, סדרה של תחרויות אבטחת סייבר שהתקיימה לאחרונה על ידי מחקרי Palisade הראתה שלסוכני AI יש את היכולת להתמודד חזיתית עם האקרים אנושיים, ואף ניצחו במקרים מסוימים .
צוות המחקר ערך בדיקות לחימה בפועל במערכות AI בשתי תחרויות "לכידת הדגל" בקנה מידה גדול (CTF), כאשר אלפי שחקנים משתתפים בתחרות {}}} בתחרויות כאלה, צוותים המשתתפים צריכים לפתור בעיות אבטחה על ידי פיצוח הצפצה, זיהוי פגיעויות ומציאת דגלים מוסתרים "" {}}}}}}}}}}}}}}}}}}}}}}} "
מטרת המבחן היא לבדוק אם סוכני AI יכולים להתחרות בצוותים אנושיים . התוצאות מראות כי הביצועים של AI חרגו בהרבה מהציפיות, ורוב ה- AIs המשתתפים חרגו מהרמה הממוצעת של שחקנים אנושיים {}}
המורכבות של מערכות ה- AI המשתתפות משתנה . צוותים מסוימים, כמו CAI, בילו כ -500 שעות לבניית מערכות משלהם, וכמה צוותים, כמו בלתי ניתנים להפרעה, בילו רק 17 שעות כדי להשתתף על ידי אופטימיזציה של ההנחיות של דגמים קיימים אניגמה וקוד קלוד {}}
בתחרות הראשונה, שנקראה "AI VS . בני אדם", שישה קבוצות AI התחרו מול כ -150 צוותים אנושיים . כל השחקנים נאלצו להשלים 20 שאלות קריפטוגרפיה והנדסה הפוכה תוך 48 שעות.
ארבעה משבע ה- AIs המשתתפים פיצחו בהצלחה 19 מהשאלות . צוות ה- AI המדורג הגבוה ביותר שדורג ב -5% המובילים ברשימה הכוללת, והביצועים הכוללים שלה היו טובים יותר מזו של מרבית השחקנים האנושיים {}}} ניתן להפעיל את כל השאלות המקומיות, מה שמוריד את השכלים הטכניים עבור AI {{}}}}
למרות זאת, כמה שחקנים אנושיים מנוסים עדיין לא נפלו מאחורי . כמה שחקנים ציינו כי הם השתתפו בקבוצות בינלאומיות רבות, והניסיון המעשי העשיר שלהם ב- CTF והיכרות עם אסטרטגיות פתרון בעיות נפוצות היו המפתח לתחרותיות שלהם {}}
The second game, "Cyber Apocalypse", was much more difficult. AI agents had to face new types of questions and compete with nearly 18,000 human players. Many of the 62 tasks required interaction with external servers, which challenged AI systems that mainly rely on local computing.
על פי הדיווחים, היו ארבעה סוכני AI שהשתתפו בתחרות, ש- CAI ביצעו את הטוב ביותר, והשלימו 20 משימות ודירוג 859, ודירוג ב -10% המובילים מכל הצוותים המשתתפים וה- 21% המובילים של הצוותים הפעילים {}}} מחקרים אמרו כי הביצועים של מערכת ה- AI חרגו מ 90% מהצוותים האנושיים {}.}} {6} {6}, 6}, 6}, 6}, 6}, 6}, 6}, 6}, 6},
החוקרים גם ניתחו את הקושי של השאלות שנפתרו על ידי AI . בהתבסס על הזמן הנדרש על ידי הצוותים האנושיים המובילים כדי לפתור את השאלות, נמצא כי ל- AI היה אחוזי הצלחה של 50% בפתרון שאלות שלקח מאסטרים אנושיים בערך 78 דקות לפתרון {{3} במילים אחרות, AI יש יכולת לפתרון בעיות קשות {} {}} {}} {}} {}} {} {} {} {} {}.