हमेशा किसी एआई कोपीलॉट की "अच्छी इंटेंशन" पर भरोसा न करें।

हमेशा किसी एआई कोपीलॉट की "अच्छी इंटेंशन" पर भरोसा न करें।

हमेशा किसी एआई कोपीलॉट की "अच्छी इंटेंशन" पर भरोसा न करें।

यहाँ एक बात साफ है — आपका एआई कोडिंग सहायक बुरा नहीं है। लेकिन यह जानता नहीं है कि क्या खतरनाक है। और यही समस्या है।

सिमन विल्सन ने इसे **"घातक त्रिकुंडल"** कहा है — निजी डेटा, भरोसेमंद कंटेंट, और एक तरीका जिससे इसे बाहर निकाला जा सकता है — सब कुछ एक ही सत्र में। यही होता है जब आप किसी एआई एजेंट को आपकी कोडबेस, लोकल फाइल्स, या ब्राउज़र टैब्स पर छोड़ देते हैं। यह सब कुछ पढ़ लेता है, जानकारी जोड़ता है, और फिर... चीज़ों को API को भेज देता है। शायद जानबूझकर नहीं। लेकिन यह पूरी तरह से संभव है।

इसलिए सिर्फ़ प्रॉम्प्ट फ़िल्टर पर निर्भर करना बंद कर दीजिए।

मैं समझाता हूँ कि क्यों ज़रूरी है।

---

प्रॉम्प्ट फ़िल्टर क्या हैं?

प्रॉम्प्ट फ़िल्टर वह सुरक्षा तंत्र हैं जो प्रॉम्प्ट्स में बनाए गए होते हैं — आम तौर पर निर्देश जो मॉडल को कुछ चीज़ों न करने को कहते हैं। जैसे:

> “कोई फ़ाइल पाथ न दें।”
>
> “कभी डेटा सिस्टम के बाहर न भेजें।”

इनका असर कमाल है। लेकिन असली दुनिया में? ये आसानी से बर्बाद हो जाते हैं — कंटेक्स्ट के अतिशयोक्ति, चतुर पुनःशब्दों, या बस अचानक भूल जाना जब बात चली ही लंबी हो जाती है।

ये उसी तरह हैं जैसे फ्रिज पर चिपकावट वाला नोट लगाना "केक न खाना" जबकि दरवाज़ा खुला है।

---

एज़ूशन पाथ ज़्यादा मायने रखता है प्रॉम्प्ट्स से

असली नियंत्रण वहीं चाहिए जहाँ फैसला लिया जाता है — **एज़ूशन पाथ**। इसका मतलब है कि कार्रवाई समझदारी के स्तर पर नियंत्रित हो — न कि यह उम्मीद पर चलाना कि एआई नियमों का पालन करेगा।

इसे ड्राइविंग लॉज़ की तरह सोचें। साइनबोर्ड व्यवहार की ओर इशारा करते हैं — लेकिन रेड लाइट्स, स्पीड बंप, और बंद दरवाज़े खराब कदमों को भौतिक रूप से रोकते हैं। यही हमें एआई के लिए चाहिए।

उदाहरण 1: लोकल फ़ाइल एक्सेस में समस्या

कल्पना कीजिए आप एआई सहायता के साथ एक Flutter ऐप बना रहे हैं। आपने उसे UI कंपोनेंट्स रिफ़ैक्टर करने को कहा। चैट के दौरान यह आपकी प्रोजेक्ट स्ट्रक्चर तक पहुँच जाता है — जिसमें API कुंजियों जैसे सीक्रेट वाले कॉन्फ़िगरेशन फाइलें भी शामिल हैं।

बाद में, बात चली ही आप पूछते हैं — “क्या आप इस एरर लॉग का सारांश दे सकते हैं?” अचानक, बिना इशारा दिए, एआई अपने जवाब में उन सीक्रेट वाली फाइलों के टुकड़े शामिल कर देता है।

क्यों? क्योंकि किसी ने रोका ही नहीं था।

इसकी जगह सैंडबॉक्सिंग टूल्स या एनवायरनमेंट-लेवल नियंत्रण के माध्यम से सीमाएँ निर्धारित करें। सensitve फ़ाइल एक्सेस को स्पष्ट रूप से अनुमति दिए बिना ब्लॉक करें। टूल्स जैसे [OpenCode](https://opencode.ai/) या LangChain जैसे फ्रेमवर्क पर बने कस्टम एजेंट्स सभी अनुरोधों को कंट्रोल्ड एक्ज़ीक्यूटर के माध्यम से भेज सकते हैं — रॉ शेल एक्सेस की जगह।

उदाहरण 2: ब्राउज़र एक्सटेंशन में गड़बड़

आप ईमेल लिखने या लेखों का सारांश देने के लिए एआई-शक्ति ब्राउज़र एक्सटेंशन का उपयोग करते हैं। एक दिन, बैंकिंग पोर्टल में लॉग इन करके आप “इस पेज का सारांश दे” कहते हैं। उफ़! — एआई अकाउंट नंबर और लेनदेन के इतिहास के साथ-साथ पाठ भी पढ़ लेता है।

यदि प्रॉम्प्ट कहे “व्यक्तिगत जानकारी न शामिल करें,” तो भी एआई शामिल कर सकता है। वहाँ बहुत सारा सिग्नल होता है।

समाधान? DOM स्क्रैपिंग अनुमतियों को सीमित करें। केवल विशिष्ट डोमेन्स की अनुमति दें। आइफ्रेम अलगेशन या हेडलेस ब्राउज़र का उपयोग जो सूचीबद्ध साइट्स तक सीमित हो।

उदाहरण 3: कोड इंटर्प्रिटर के जोखिम

जैसे Jupyter नोटबुक्स जो LLM से लैस हैं, वे सुरक्षित लगते हैं — वे कंटेनर में चलते हैं। लेकिन कभी-कभी वे गलत सेटिंग्स में होते हैं। एआई सिस्टम वेरिएबल्स पढ़ लेता है, SSH कुंजियाँ निकाल लेता है, या बुरा मामला — बाहर वाले एंडपॉइंट को लॉग भेजना शुरू कर देता है।

इंटर्प्रिटर के भीतर नेटवर्क कॉल्स, एनवायरनमेंट वेरिएबल एक्सपोज़र, और डिस्क राइट्स पर कठोर नीति लागू करें। न कि सिर्फ प्रॉम्प्ट में।

---

सुरक्षित एआई वर्कफ़्लो कैसे बनाएं

तो आप कैसे आगे बढ़ेंगे, प्रॉम्प्ट्स पर भरोसा करने के बिना?

स्टेप 1: शुरुआती सेम ओर स्पष्ट करें
एआई को किसी भी सेंसिटिव चीज़ को छूने देने से पहले साफ़ सीमाएँ तय करें। फ़ाइल टाइप्स, डायरेक्टरीज़, और प्रक्रियाओं को सीमित करें जिनके साथ वह इंटरैक्ट कर सकता है।

इनका उपयोग करें:
- [GitHub Copilot Enterprise](https://github.com/features/copilot)
- [Replit Ghost](https://replit.com/site/ghost)
- LangGraph पर आधारित कस्टम एजेंट रनर्स

स्टेप 2: असली कार्रवाई मॉनिटर करें
हर API कॉल, फ़ाइल रीड/राइट, शेल कमांड, और वेब अनुरोध का लॉग ले। नियमित रूप से उन्हें समीक्षा करें।

यदि आप [Astra](https://arcprize.org/blog/astra) या ऐसी अन्य प्लेटफ़ॉर्म का उपयोग कर रहे हैं, तो उनके टेलीमेट्री डैशबोर्ड जाँचें।

स्टेप 3: सुरक्षा कंट्रोल जोड़ें
एआई और महत्वपूर्ण सिस्टम के बीच फ़ायरवॉल, प्रॉक्सी, और क्रेडेंशियल वॉल्ट जोड़ें। कभी भी plaintext में सीक्रेट न रखें।

HashiCorp Vault या AWS Secrets Manager जैसे टूल्स अधिकांश डेवलपमेंट पाइपलाइन के साथ अच्छी तरह से एकीकृत हैं।

---

अंतिम विचार: विश्वास करें, लेकिन सत्यापित करें

एआई कोपीलॉट्स शक्तिशाली सहयोगी हैं — लेकिन केवल तभी जब वे सही ढंग से बांधे हों।

प्रॉम्प्ट-आधारित प्रतिबंध पर निर्भर करना उसी तरह है जैसे आप अपने घर के दरवाज़े को अजीर्ण छोड़ दें क्योंकि आप आशा करते हैं कि घुसपैले अंदर नहीं आएंगे। यह अक्सर अपेक्षा से अधिक विफल हो जाता है।

अपनी बुनियादी ढाँचे में रैखिक सुरक्षा जोड़ें — प्रॉम्प्ट सेट के साथ नहीं।

क्योंकि अगली बार जब आपका एआई यह फैसला करेगा कि वह एक कॉन्फ़िगरेशन फ़ाइल साझा करके मदद करेगा, तो आप चाहते हैं कि वह आपके लिए सीख ले।

---

प्राज़िक प्रश्न (FAQ)

प्रश्न 1: क्या मैं बस इंटरन एक्सेस निष्क्रिय कर सकता हूँ?
हाँ, लेकिन इससे कार्यक्षमता सीमित हो जाती है। बेहतर दृष्टिकोण: एआई को आवश्यक URLs या एंडपॉइंट्स तक पहुँच की अनुमति दें।

प्रश्न 2: क्या अधिकांश प्लेटफ़ॉर्म इसे पहले से ही संभाल रहे हैं?
पूरी तरह से नहीं। कई प्लेटफ़ॉर्म मूलभूत सुरक्षा प्रदान करते हैं, लेकिन वे अक्सर एज़ूशन स्तर की प्रतिबंध की जगह प्रॉम्प्ट्स पर निर्भर करते हैं।

प्रश्न 3: सैंडबॉक्स्ड वातावरण का उपयोग करना कैसा रहेगा?
बिल्कुल। कंटेनर, वर्चुअल मशीन्स, और सीमित शेल्स गलती से डेटा रीड या राइट को रोकने में बहुत मदद करते हैं।

प्रश्न 4: मैं सुरक्षित एआई अभ्यास के बारे में कहाँ से सीखूँ?
सिमन विल्सन के ब्लॉग ([simonwillison.net](https://simonwillison.net/)) पढ़ें और Mozilla की AI टीम या OpenAI की सुरक्षा अनुसंधान टीम के अपडेट्स को फॉलो करें।

Comments (0)

No comments yet. Be the first to comment!

Leave a Comment