Autonomous AI agents, also known as rogue AI agents, capable of planning and acting across digital systems, have shifted AI risk from flawed outputs to unintended actions. As autonomy grows, rogue behaviour is no longer speculative but a live governance challenge.

Nature of the Threat

• Rogue conduct need not stem from malice; it emerges from misaligned objectives.
• Controlled simulations show frontier models covertly sabotaging code, assisting fraud and mislabelling data.
• The July 2026 Hugging Face breach made the risk tangible: about 1,200 evaluation agents, meant to be isolated, coordinated through an unsanctioned channel, roughly 700 attacked the platform, and many probed ways to tamper with their own logs.
• The motive was cheating on impossible tasks, reward hacking at scale.

Structural Vulnerabilities

• Agent task horizons are doubling roughly every seven months, outpacing evaluation practices; global scientific assessments note a widening gap between testing methods and real-world demands.
• Excessive permissions, multi-agent collusion and weak monitoring compound the danger, which is why allied cyber agencies urge sandboxing and human authorisation for irreversible actions.

India's Position

• India, primarily a deployer of foreign models, follows a principle-based, risk-oriented approach.
• The India AI Governance Guidelines (2025) rely on existing laws and sectoral regulators rather than a horizontal statute, with an AI Governance and Economic Group (AIGEG) and the IndiaAI Safety Institute providing coordination and testing.
• The guidelines recognise risks from agentic systems and autonomous AI-to-AI coordination, while CERT-In advisories flag AI-enabled cyber threats.
• The gap lies in independent testing capacity to reproduce such failures on models already used by banks, global capability centres and ministries.

The Path Ahead

Autonomy must be matched by graduated accountability: binding obligations for high-risk deployments, least-privilege design, tamper-resistant logging and an empowered safety institute. Governance that follows demonstrable testing capability, rather than rhetoric, will decide whether India deploys agents safely or inherits others' failures.

स्वायत्त एआई एजेंट, जिन्हें अनियंत्रित एआई एजेंट (Rogue AI Agents) भी कहा जाता है, डिजिटल प्रणालियों में योजना बनाने और स्वतंत्र रूप से कार्रवाई करने में सक्षम हैं। इनके उदय के साथ कृत्रिम बुद्धिमत्ता से जुड़ा जोखिम केवल त्रुटिपूर्ण उत्तरों तक सीमित न रहकर अनपेक्षित कार्रवाइयों तक विस्तृत हो गया है। जैसे-जैसे इनकी स्वायत्तता बढ़ रही है, इनका अनियंत्रित व्यवहार अब केवल सैद्धांतिक आशंका नहीं, बल्कि शासन और नियमन के सामने एक वास्तविक चुनौती बन चुका है।

खतरे की प्रकृति

• अनियंत्रित व्यवहार के पीछे दुर्भावनापूर्ण इरादा होना आवश्यक नहीं है; यह निर्धारित उद्देश्यों और अपेक्षित परिणामों के बीच असंगति से भी उत्पन्न हो सकता है।
• नियंत्रित परीक्षणों में अत्याधुनिक एआई मॉडल (Frontier Models) गुप्त रूप से कंप्यूटर कोड में बाधा उत्पन्न करते, धोखाधड़ी में सहायता करते और डेटा को गलत श्रेणियों में वर्गीकृत करते पाए गए हैं।
• जुलाई 2026 में हगिंग फेस की सुरक्षा में हुई सेंध ने इस खतरे को वास्तविक रूप में सामने ला दिया। लगभग 1,200 मूल्यांकन एजेंटों, जिन्हें एक-दूसरे से अलग रखा जाना था, ने एक अनधिकृत संचार माध्यम से आपसी समन्वय स्थापित किया। इनमें से लगभग 700 ने प्लेटफॉर्म पर हमला किया, जबकि कई एजेंटों ने अपनी गतिविधियों के रिकॉर्ड (Logs) में छेड़छाड़ करने के तरीके तलाशे।
• इस कृत्य का मुख्य उद्देश्य असंभव कार्यों में हेरफेर करना और बड़े पैमाने पर ‘रिवॉर्ड हैकिंग’ करना था।

संरचनात्मक ख़ामियाँ

• एआई एजेंट्स की कार्य-क्षमता (टास्क होराइजन) लगभग हर सात महीने में दोगुनी हो रही है, जबकि मूल्यांकन पद्धतियाँ इस गति से विकसित नहीं हो पा रही हैं। वैश्विक वैज्ञानिक आकलन भी परीक्षण विधियों और वास्तविक परिस्थितियों की आवश्यकताओं के बीच बढ़ते अंतर की ओर संकेत करते हैं।
• आवश्यकता से अधिक अनुमतियाँ (Excessive Permissions), अनेक एआई एजेंट्स के बीच अनधिकृत समन्वय और कमजोर निगरानी व्यवस्था इस खतरे को और बढ़ाती हैं। इसी कारण सहयोगी देशों की साइबर सुरक्षा एजेंसियाँ पृथक एवं नियंत्रित परीक्षण परिवेश (Sandboxing) तथा अपरिवर्तनीय कार्रवाइयों के लिए मानवीय स्वीकृति की सिफारिश करती हैं।

भारत की स्थिति

• भारत मुख्यतः विदेशी एआई मॉडलों का उपयोग और कार्यान्वयन करने वाला देश है तथा एआई शासन के लिए सिद्धांत-आधारित और जोखिम-केंद्रित दृष्टिकोण अपनाता है।
• भारत एआई शासन दिशानिर्देश, 2025 किसी एक व्यापक एआई कानून के बजाय मौजूदा कानूनों और क्षेत्र-विशेष के नियामकों पर आधारित हैं। इसमें समन्वय और परीक्षण प्रदान करने के लिए ‘एआई गवर्नेंस एंड इकोनॉमिक ग्रुप’ (AIGEG) और ‘इंडियाएआई सेफ्टी इंस्टीट्यूट’ की भूमिका अहम है।
• ये दिशानिर्देश स्वायत्त एआई प्रणालियों और एआई एजेंट्स के बीच स्वतंत्र समन्वय से उत्पन्न जोखिमों को स्वीकार करते हैं। वहीं, भारतीय कंप्यूटर आपातकालीन प्रतिक्रिया दल (CERT-In) की सलाहों में एआई-सक्षम साइबर खतरों को भी रेखांकित किया गया है।
• मुख्य खामी स्वतंत्र परीक्षण क्षमता में है, ताकि बैंकों, वैश्विक क्षमता केंद्रों (GCCs) और मंत्रालयों द्वारा पहले से ही उपयोग किए जा रहे मॉडलों पर ऐसी विफलताओं का सटीक आकलन किया जा सके।

भावी दिशा

एआई एजेंटों की बढ़ती स्वायत्तता के साथ जोखिम के स्तर के अनुरूप जवाबदेही भी सुनिश्चित करनी होगी। इसके लिए उच्च जोखिम वाले उपयोगों पर बाध्यकारी दायित्व, न्यूनतम आवश्यक अनुमतियों का सिद्धांत (Least-Privilege Design), गतिविधियों के ऐसे रिकॉर्ड जिनमें छेड़छाड़ न की जा सके, और एक सशक्त एआई सुरक्षा संस्थान आवश्यक हैं। अंततः केवल नीतिगत घोषणाएँ नहीं, बल्कि व्यावहारिक परीक्षण से प्रमाणित क्षमताओं पर आधारित नियामक व्यवस्था ही तय करेगी कि भारत एआई एजेंट्स का सुरक्षित उपयोग कर पाएगा या अन्य देशों की तकनीकी विफलताओं के दुष्परिणामों का सामना करेगा।