14. מעקות בטיחות

הבעיה

בלולאת הסוכן, הוספנו רשימה שחורה לכלי ה-bash:

dangerous = ["rm -rf /", "sudo", "shutdown", "reboot", "> /dev/"]
if any(d in command for d in dangerous):
    return "Error: Dangerous command blocked"

זה מרגיש בטוח. זה לא. הנה שלוש דרכים לעקוף את זה בשניות:

עקיפה 1: רווחים נוספים. הרשימה השחורה בודקת "rm -rf /" אבל rm -rf / (רווחים כפולים) עוברת. וגם rm -r -f /.

עקיפה 2: הרחבת משתני סביבה. $SHELL -c "rm -rf /" מריצה את הפקודה המסוכנת בתוך sub-shell. הרשימה השחורה רואה $SHELL -c ..., לא rm -rf /.

עקיפה 3: שרשור פקודות. echo hello && su -c reboot — הרשימה השחורה לא מזהה את su. וגם לא doas reboot, pkexec reboot, או כתיבת סקריפט לדיסק והרצתו.

הפגם הבסיסי: רשימות שחורות מנסות למנות הכל רע. הקבוצה של פקודות מסוכנות היא אינסופית. אי אפשר לנצח את המשחק הזה.

הפתרון

במקום בדיקה שברירית אחת, בונים חמש שכבות הגנה. כל שכבה תופסת את מה שהקודמת פספסה:

שכבה 1: הרשאות מבוססות יכולות — רק כלים מורשים יכולים לרוץ
שכבה 2: היוריסטיקות סכנה        — זיהוי דפוסים בתוך כלים מורשים
שכבה 3: Human-in-the-Loop      — שאלו את המשתמש לפני פעולות מסוכנות
שכבה 4: תקרת עלויות            — תקציב קשיח עוצר סוכנים פרועים
שכבה 5: סנדבוקס בקונטיינר       — גם אם הכל נכשל, רדיוס הפיצוץ מוגבל

שכבה 1: הרשאות מבוססות יכולות

הרעיון המרכזי: במקום לחסום דברים רעים, להתיר במפורש רק דברים טובים.

@dataclass
class ToolPermission:
    tool_name: str
    auto_approve: bool = False
    requires_approval: bool = False
    denied: bool = False

permissions = [
    ToolPermission("bash", auto_approve=True),
    ToolPermission("read_file", auto_approve=True),
    ToolPermission("write_file", requires_approval=True),
    ToolPermission("execute_sql", denied=True),
]

כל כלי שלא ברשימת ההרשאות נדחה כברירת מחדל. זה ההיפך מרשימה שחורה — כלים לא ידועים נחסמים, לא מורשים.

שכבה 3: Human-in-the-Loop

def human_approve(tool_name: str, tool_input: dict) -> bool:
    print(f"\n{'='*50}")
    print(f"APPROVAL REQUIRED: {tool_name}")
    print(f"Input: {json.dumps(tool_input, indent=2)}")
    print(f"{'='*50}")
    while True:
        answer = input("Allow? [y/n]: ").strip().lower()
        if answer in ("y", "yes"):
            return True
        if answer in ("n", "no"):
            return False

שכבה 5: סנדבוקס בקונטיינר

הגנה אחרונה: גם אם הסוכן עוקף הרשאות, היוריסטיקות, אישור, ומגבלות עלות — הוא לא יכול לברוח מהקונטיינר.

def run_bash_sandboxed(command: str, workspace: str) -> str:
    docker_cmd = [
        "docker", "run", "--rm",
        "--network", "none",
        "--read-only",
        "--tmpfs", "/tmp:size=100m",
        "-v", f"{workspace}:/work",
        "-w", "/work",
        "--memory", "512m",
        "--cpus", "1.0",
        "python:3.12-slim",
        "bash", "-c", command,
    ]
    try:
        r = subprocess.run(docker_cmd, capture_output=True, text=True, timeout=120)
        out = (r.stdout + r.stderr).strip()
        return out[:50000] if out else "(no output)"
    except subprocess.TimeoutExpired:
        return "Error: Timeout (120s)"

מה השתנה מהערכת סוכנים

נקודה מרכזית

בטיחות היא לא בדיקה אחת — היא מחסנית. הרשאות יכולות דוחות כלים לא ידועים. היוריסטיקות מעלות קלטים חשודים. Human-in-the-loop תופס מה שהיוריסטיקות מפספסות. תקרות עלות מונעות הוצאה פרועה. סנדבוקס בקונטיינר מגביל את רדיוס הפיצוץ כשהכל האחר נכשל. בנו את כל חמש השכבות ברתמה שלכם לפני שתיתנו לסוכן לרוץ ללא פיקוח.