Anubis AI Scraper Firewall: Botları Durdurun, Web Sitenizi Koruyun, Hosting Maliyetlerini Azaltın

Neden Küçük Halka Açık Siteler Şimdi Anubis’e Bakıyor

Halka açık bir docs sitesi, blog, forum veya küçük web uygulaması işletiyorsanız, sorun her zaman dramatik bir kesinti ile gelmez. Daha sık olarak, tarayıcı benzeri otomatik trafiğin sabit bir akışı olarak ortaya çıkar. Bu istekler içeriği çekmeye devam eder ve orijininizi gerçek ziyaretçi olmayan ziyaretçiler için çalışmaya zorlar. Site çevrimiçi kalabilir, ancak CPU zamanı tüketilir, önbellek verimliliği düşer ve yanlış kitle için orijin istekleri artar. Zamanla, operatör sabrı da onlarla birlikte gider.

Bu tür baskı, farklı okuyucular için farklı nedenlerle önemlidir.

• Geliştiriciler bunu harcanan arka uç çalışması olarak hissederler.
• Kendi kendine barındıranlar bunu halka açık ön kapı üzerinde kontrol kaybı olarak hissederler.
• İşletme ve site operatörleri bunu daha yüksek barındırma maliyetleri, daha az stabil performans ve arka plan gürültüsü arttığında gerçek ziyaretçiler için daha kötü bir deneyim olarak hissederler.

Temel değişim basittir: kazıma baskısı artık yalnızca hiper ölçekli şirket sorunu değildir. Küçük halka açık siteler de bunu hissedebilir.

Bu nedenle Anubis ilginç hale geldi. Kötüye kullanılan erişimi daha pahalı hale getirmek isteyen insanlar için, tam bir güvenlik platformu satın aldıklarını iddia etmeden odaklanmış bir ön kapı katmanıdır. Bu makale temelli bir açıklamadır. Anubis’in ne olduğunu, nasıl çalıştığını, hangi değeri sunduğunu ve ne zaman uygun olduğunu kapsar.

Başlamadan Önce Hızlı Anahtar Kelimeler

Bu makalenin geri kalanını takip etmek için çok fazla kelime dağarcığına ihtiyacınız yok, ancak birkaç terim açıklamayı temiz tutmaya yardımcı olur. Buradaki amaç devasa bir güvenlik sözlüğü oluşturmak değildir. Amaç, sonraki bölümlerin gerekenden daha zor hissettirilmemesini sağlamaktır.

Anubis Gerçekte Ne — ve Ne Değil

Anubis açık kaynaklı bir AI scraper firewall’ıdır. Daha doğrusu, bir web sitesi veya web uygulamasının önünde duran anti-scraper reverse proxy’sidir. Gelen trafiğin geçmesine, challenge edilmesine veya reddedilmesine karar verir; origin pahalı işi yapmadan önce. Stack açısından yerleşim basittir:

visitor -> Anubis -> origin site/app

Bu yerleşim bütün noktadır. Anubis, ön kapıya bir karar verme katmanı koyarak upstream kaynakları korur.

Rolünü doğru tutmanın en kolay yolu, onu sık karıştırılan katmanlarla karşılaştırmaktır. Aşağıdaki tablo Anubis vs WAF sorusunun pratik versiyonudur.

Bu nedenle kendi stack’ini kontrol eden operatörler için özellikle ilgilidir. Kendi reverse proxy’nizin arkasında bir VPS veya dedicated sunucuda genel workload’lar çalıştırıyorsanız, Anubis’i zihinsel olarak yerleştirmek kolaydır:

• origin’in önünde bir operatör tarafından kontrol edilen kontrol noktası haline gelir.
• Rota davranışı ve tarayıcı benzeri trafik üzerinde daha fazla söz sahibi olmak isteyen kişiler için doğal olarak uyum sağlar.
• Ayrıca, bütün sorunu yönetilen bir edge ürününe vermek yerine güvenilir istisnalar kendileri yönetmek isteyen operatörler için de uygundur.

📝 Not: Anubis klasik bir WAF değil, CDN değil ve tam bir DDoS hizmeti değildir. Upstream kaynakları scraper baskısından korumak için tasarlanmış odaklanmış bir reverse-proxy kontrol noktasıdır.

Eşit derecede önemli olan, birçok sitenin buna hiç ihtiyacı olmamasıdır. Bu cümle keskin kalmalıdır çünkü doğrudur. Anubis, scraping baskısı gerçek olduğunda ve operatör odaklanmış bir ön kapı katmanı istediğinde faydalıdır. Sadece “firewall” kelimesi içerdiği için her genel web sitesinin yüklemesi gereken bir şey değildir.

Anubis Nasıl Çalışır, Adım Adım

En basit düzeyde, Anubis bir ön kapı ve gişe gibi davranır. Bir istek gelir, Anubis ilk söz sahibi olur ve kaynak arkasında bekler. İstek etkin politika altında iyi görünüyorsa, devam edebilir. Daha katı bir yolla eşleşirse, gerçek site veya uygulama daha fazla çalışma yapmadan önce sorgulanabilir.

İstek akışı şöyle görünür:

visitor request
    ↓
Anubis
    ├─ allow straight through
    ├─ deny
    └─ challenge when policy says so
            ↓
   client solves proof of work
            ↓
   Anubis verifies cheaply
            ↓
temporary signed badge cookie
            ↓
     origin site/app

Önemli detay, Anubis’in politika odaklı olmasıdır. Gelen istekler ALLOW, DENY, CHALLENGE veya WEIGH yapabilen kurallar karşısında kontrol edilir. Açık söylemek gerekirse, kapı bir şeyi geçirebilir, reddedebilir, ekstra çaba gerektirebilir veya nihai karar vermeden önce şüphe puanını artırabilir. Bu aynı zamanda Anubis’i “her isteği sonsuza kadar sorgula” olarak görmek neden yanıltıcı olduğunun nedenidir. Eşleşmeyen trafik geçilebilir, tarayıcı benzeri veya daha yüksek şüphe trafiği daha agresif şekilde ele alınabilir.

📝 Not: Anubis tek bir dev hardcoded sorgulama sayfası değildir. Politika kurallarını takip eder ve aracın işini yapması için her isteğin sorgulanması gerekmez.

Bir sorgulama kullanıldığında, ana fikir iş kanıtıdır. Bunu küçük bir gişe ücreti olarak düşünün. İstemci geçmeden önce mütevazı bir hesaplama miktarı yapmalı, Anubis ise sonucu ucuza doğrulamalıdır. Normal bir ziyaretçi için, bu ekstra çalışma çoğu zaman en fazla küçük bir rahatsızlıktır. Büyük miktarda trafik arasında işlemi tekrarlamaya çalışan bir kazıyıcı için, ekonomi değişmeye başlar. Amaç kazımayı matematiksel olarak imkansız kılmak değildir. Amaç, onu ucuz ve sürtüntüsüz hale getirmeyi durdurmaktır.

Bir ziyaretçi geçtikten sonra, Anubis imzalı bir geçiş çerezi verebilir. Bu çerezi görmek için en basit yol, geçici bir ziyaretçi rozeti olarak düşünmektir. Ziyaretçi kapıyı zaten temizledi, bu nedenle her sayfa yüklemesinde gişe ücretini tekrar ödemelerine gerek yoktur. Bu, meşru tarama için tekrarlanan sürtünmeyi azaltırken yine de kontrol noktasını kaynağın önünde tutar. Rozet amacıyla geçicidir: sistemin bir istemcinin yakın zamanda geçtiğini hatırlamasına yardımcı olur, bir başarıyı kalıcı güvene dönüştürmeden.

Modern Anubis politikaları ayrıca düz bir geçiş veya sorgulama bölünmesinden daha nüanslı olabilir. İstek ağırlıklandırması, kuralların şüphe eklemesine veya çıkarmasına izin vererek farklı eşiklerin daha hafif veya daha güçlü işleme tetiklemesini sağlar. Güvenilir istisnalar, güvenli yollar ve bilinen otomasyon, genel tarayıcı benzeri trafikten farklı şekilde ele alınabilir. Bazı dağıtımlar, daha önceki bir geçişin sonsuza kadar sürmesi gerektiğini varsaymak yerine trafiği zaman zaman yeniden kontrol eder. Bu ayarlama katmanı önemlidir, ancak temel zihinsel model yine de aynı ön kapı artı gişedir.

Göz önünde tutmaya değer son bir nüans: bir sorgulamayı geçmek, bir ziyaretçinin insan olduğunu kanıtlamaz. İstemcinin yapılandırılan kapıyı temizlediğini kanıtlar. Bazı dağıtımlar ayrıca JavaScript olmayan sorgulama modları kullanabilir, ancak ana Anubis hikayesi yine de iş kanıtı artı geçici geçiştir. Bunu bu şekilde gördüğünüzde, pratik değeri yargılamak çok daha kolay hale gelir.

Anubis Sizin İçin Pratikte Neler Yapabilir

Anubis’in pratik değeri sihirli bot sınıflandırması değildir. Bu maliyet kaydırmasıdır. Büyük ölçekli kazıma işlemi kapıda daha fazla iş yapmak zorunda kalırsa, kaynağınız arkasında gereksiz iş yapmaz. Bu, daha az boşa harcanmış kaynak istekleri ve daha az anlamsız arka uç işlemi anlamına gelebilir. Ayrıca, kötüye kullanım trafiği siteye baskı yapmaya başladığında gerçek ziyaretçiler için daha fazla yer bırakabilir.

Bu, içeriğin herkese açık olduğu ve tekrar tekrar hedeflenmeye kolay olduğu web siteleri ve uygulamalarda en önemlidir.

• Dokümantasyon portalları
• bloglar, forumlar
• panolar
• kendi kendine barındırılan web araçları
• küçük SaaS ön uçları
• kod veya web arayüzleri

Dinamik sayfalar ve arka uç kaynakları özellikle faydalıdır çünkü bunlar genellikle statik bir varlığın sunulmasından daha pahalıdır. Site “çökmemiş” olsa bile, ön kapıda kaçınılabilir işi azaltmak, kullanıcıların gerçekten hissettiği yerlerde yanıt verme hızını koruyabilir.

Faydayı çerçevelemenin başka bir yolu nefes alma alanıdır. Bu nefes alma alanı somut şekillerde ortaya çıkar: daha az gereksiz uygulama uyandırması, daha az önbellek karışıklığı ve meşru kullanıcıların teknik olarak hiçbir şey kırılmamış olsa bile yavaşlama hissettiği daha az an. Anubis bir sunucuyu kendi başına daha hızlı yapmaz; düşük değerli trafiğin arka uçta tam bir dönüş almasının ne sıklıkta olduğunu azaltır.

Ayrıca bir kontrol avantajı da vardır. Anubis ile operatör, her isteği aynı şekilde ele almak yerine davranışı şekillendirebilir.

• Bazı rotalar erişimi kolay olabilir.
• Bazı güvenilir botlar veya otomasyon yolları beyaz listeye alınabilir.
• Bazı tarayıcı benzeri trafik daha agresif bir şekilde sorgulanabilir.

Bu gerçek operasyonel kazanç: iyi veya kötü olanı bilmek için mistik bir yetenek değil, sitenin nasıl kullanılması gerektiğine uyan kullanılabilir bir trafik işleme kararları seti.

Bunu barındırma terimleriyle tasarlayan okuyucular için yerleştirme basittir. Bir AlexHost VPS veya özel sunucuda Nginx veya Caddy’nin arkasında genel hizmetler çalıştırıyorsanız, bu genellikle Anubis’i, genel web trafiğinin arka uçu uyandırmadan önce filtrelenmesi için zaten yönettiğiniz uygulama yolunun önüne koymak anlamına gelir. Yığının geri kalanı aynı kalır; fark, kaynağınızın artık her isteği eşit olarak işlememesidir.

Bilmeniz Gereken Sınırlar ve Ödünleşmeler

Anubis’i yanlış anlamanın en hızlı yolu “firewall” okuyup tam koruma varsaymaktır. Aracın işi daha dar kapsamlıdır. Savunmasız kodu yamalamaz veya açık hizmetleri kapatmaz. Doymuş bir uplink’i absorbe etmez veya WAF, CDN veya DDoS hizmetinin yerini almaz. Ana sorununuz bu katmanlardan birinde yaşıyorsa, Anubis bunu düzelten şey değildir.

Ayrıca kararlı otomasyonu ortadan kaldırmaz. Gelişmiş headless tarayıcılar JavaScript çalıştırabilir. Ayrıca çerezleri saklayabilir, istekleri yeniden deneyebilir ve işleri çözebilirler. Başarı koşulu basitçe farklıdır: scraping daha pahalı, daha az uygun ve saldırganın tarafından daha az nazik hale gelir.

⚠️ Uyarı: No-JS erişimi bir ödünleşme bölgesidir. Mevcut Anubis belgeleri no-JS metarefresh seçeneğini içerir, ancak bu varsayılan yol değildir ve daha az ayırt edicidir, bu nedenle ana koruma hikayesi yerine bir uyumluluk ödünleşmesi olarak ele alınmalıdır.

Bu ödünleşme önemlidir çünkü bazı meşru ziyaretçiler sertleştirilmiş gizlilik kurulumları veya kasıtlı olarak sınırlı tarayıcılar kullanır. JavaScript destekli bir challenge yolu, hiçbir şey kötü yapmıyor olsalar bile onları hayal kırıklığına uğratabilir. No-JS seçeneği bazı durumlarda yardımcı olur. Ancak modern scraper’lar zaten gerçek tarayıcılar gibi davranabildiğinden, ayırt etme hikayesini de zayıflatır. Başka bir deyişle, erişilebilirlik ve sürtünme dürüstçe değerlendirilmeli, göz ardı edilmemelidir.

Keşif ve otomasyon ikinci bir ödünleşme getirir:

• Arama motorları ve arşiv botları allowlist’e ihtiyaç duyabilir.
• Feed’ler, izleme ve diğer meşru otomasyon daha dikkatli politika muamelesine ihtiyaç duyabilir.

Eğer dikkatsiz olursanız, sitenizi dizine almak veya arşivlemek daha zor hale getirebilirsiniz. Ayrıca gerçekten yararlı olan araçlarla entegrasyon yapmayı da daha zor hale getirebilirsiniz. Bu Anubis’i kötü bir araç yapmaz. Bu, operatörün hangi trafiğin kolay bir yol hak ettiğine ve hangi trafiğin daha zor bir yol hak ettiğine karar vermesi gerektiği anlamına gelir.

Ve bazen en temiz cevap bunu atlamaktır. Düşük maruziyetli bir hobi sitesi veya yalnızca dahili bir hizmet, Anubis eklenmekten daha fazla sürtünme alabilir. Aynı şey, yönetilen bir edge platformundan zaten memnun olan bir ekip için de geçerli olabilir. Ayrıca gerçek sorun güvenli olmayan uygulama kodu veya doymuş upstream bant genişliği olduğunda da geçerlidir. Sorun başka bir yerde yaşıyorsa, bir scraper kapısı eklemek sadece yanlış darboğaz etrafında ekstra karmaşıklık yaratır.

Anubis Ne Zaman Mantıklı — Ne Zaman Aşırı

Anubis en çok şu üç şey aynı anda doğru olduğunda mantıklıdır:

1. 🌍🔓 hizmet halka açık
2. 🤖⚠️ scraper baskısı operasyonel olarak rahatsız edici düzeyde
3. 🔄🖥️ operatör ön kapıdaki reverse-proxy katmanı üzerinde kontrol istediği

Genel belgeler, forumlar, bloglar, kendi kendine barındırılan uygulamalar ve küçük SaaS yüzeyleri güçlü örneklerdir. İçeriği açıkça ortaya koydukları halde, yine de korunmaya değer kaynak kaynakları üzerine bağlıdırlar.

Karar, birkaç yaygın duruma indirgendiğinde daha kolay hale gelir:

En iyi uyum ayrıca operatör istekliliğini varsayar. Anubis kavramsal olarak basit, ancak yine de proxy katmanında politika sahipliği ekler. Birinin neyin kolayca geçmesi gerektiğine ve neye karşı çıkılması gerektiğine karar vermesi gerekir. Ayrıca hangi botların veya beslemelerin istisna hak ettiğine ve izleyicinin ne kadar sürtünmeyi tolere edeceğine karar vermeleri gerekir. Takımda kimse bu çağrıları yapmak istemiyorsa, teknik olarak ilgili bir katman yine de operasyonel karışıklık haline gelebilir.

Orta kategori önemlidir çünkü birçok gerçek ortam doğası gereği katmanlıdır. Scraper baskısı resmin yalnızca bir parçasıysa, Anubis yine de bir yer kazanabilir, ancak yalnızca bir işe ihtiyaç duyar: pahalı tarayıcı benzeri trafiği uygulamaya ulaşmadan önce kontrol etmek. Diğer kontroller hala kendi işlerini yerine getirirler — güvenli kodlama, uygulamaya duyarlı filtreleme, trafik dağıtımı ve ağ ölçeğinde koruma.

💡 İpucu:Daha basit test şudur: scraper trafiği ölçülebilir operasyonel sürükleme yaratmıyorsa, Anubis muhtemelen sonucu değiştiren katman değildir. Gerçek acınız savunmasız koddan veya upstream doygunluğundan geliyorsa da aynı şey doğrudur. Scraper maliyeti gerçekten günlüklerinizde ve ana bilgisayar davranışında görünüyorsa, o zaman düşünülecek makul, odaklanmış bir araç haline gelir.

Anubis Odaklanmış Bir Katmandır, Gerçek Sorunları Çözer

Açılış senaryosuna geri dönersen, Anubis’in gerçek çekiciliği ortaya çıkar. Bu, spektaküler bir şekilde çökmekte olan değil, gün geçtikçe sessizce kazıyıcı maliyetini absorbe eden halka açık site için tasarlanmıştır. Bu durumda, Anubis’i anlamaya değer çünkü orijin kaynağı için ödeme yapmaya devam etmeden önce kötüye kullanılan erişimi yavaşlatabilecek bir ters-proxy katmanı sağlar.

Kalıcı sonuç basittir: Anubis, büyük ölçekli kazımanın maliyetini artırır ve orijin kaynaklarını korumaya yardımcı olur, ancak yine de daha geniş, gerçekçi bir koruma yığınının içinde yer alır. Kendi VPS’niz, özel sunucunuz veya ters-proxy yolunuz kontrol ediyorsanız, bu gibi bir katmanın nereye uyduğunu öğrenmek genellikle kazıyıcı baskısı soruyu zorlayan şey haline gelmeden önce daha kolaydır.