İçeriğe geç

Web archive api ile domain geçmişini toplu sorgulamak

Web Archive API nasıl kullanılır: Availability ve CDX uç noktaları, temel parametreler ve expired domain geçmişini toplu kontrol etmek için hazır sorgular.

8 dk okuma

Web archive api denince aslında iki herkese açık uç nokta kastedilir. Availability API, bir URL’nin arşivde olup olmadığını söyler ve seçtiğin tarihe en yakın kopyayı döndürür. CDX Server API ise Wayback Machine’in kendi kayıt dizinini verir: bir URL’nin, bir hostun ya da bütün bir domainin her kopyası, tarihi, HTTP durum kodu ve içerik türüyle birlikte gelir. Internet Archive’ın dokümantasyonu herkese açık kopyalar için anahtar istemez; düz bir HTTP isteği yeter. Çok sayıda expired domaini kontrol edeceksen işini görecek olan CDX API’dir.

Tek bir domainin geçmişine tarayıcıdan bakmak istiyorsan takvim ve /* görünümü Wayback Machine nasıl kullanılır yazısında anlatılıyor. Bu yazı ise aynı işi betikle ve toplu yapmak için.

Availability API: arşivde var mı?

Bu uç nokta tek bir soruya cevap verir: bu URL’nin kopyası var mı, varsa belirli bir tarihe en yakını hangisi?

https://archive.org/wayback/available?url=example.com
https://archive.org/wayback/available?url=example.com&timestamp=20120101

Resmi Wayback API sayfasına göre üç parametresi var:

  • url (zorunlu): sorgulanacak adres.
  • timestamp (isteğe bağlı): YYYYMMDDhhmmss biçiminde hedef zaman, 1 ile 14 hane arası. Vermezsen en son kopya gelir.
  • callback (isteğe bağlı): cevabı JSONP olarak sarar.

Kopya varsa cevapta archived_snapshots içinde tek bir closest kaydı olur: available, kopyanın Wayback adresi (url), timestamp ve HTTP status. Kopya yoksa cevap boştur: {"archived_snapshots":{}}.

Uzun bir aday listesini "geçmişi var" ve "geçmişi yok" diye ikiye ayırmak için bu yeter. Geçmişi okumak için yetmez, çünkü tek bir kopya aradaki yıllar hakkında hiçbir şey söylemez. Boş cevap, sitenin arşivden çıkarıldığı anlamına da gelebilir; o durumu Web Archive excluded yazısı ayrıca ele alıyor.

Web archive CDX API ile kopya listesini almak

CDX sunucusu, Wayback Machine’in kopyaları bulmak için kullandığı dizinin kendisidir. Temel istek şöyle:

https://web.archive.org/cdx/search/cdx?url=example.com&output=json&limit=5

Her satır bir kopyayı anlatır. Varsayılan alanlar:

Alan İçeriği
urlkey URL’nin sıralanabilir (SURT) biçimi
timestamp Kopyanın alındığı an, YYYYMMDDhhmmss
original Taranan asıl URL
mimetype İçerik türü, örneğin text/html
statuscode Tarayıcının aldığı HTTP durum kodu
digest İçeriğin özeti (hash)
length Saklanan kaydın boyutu

output=json eklersen cevap bir JSON dizisi olur ve ilk satırında alan adları yer alır. fl ile yalnızca ihtiyacın olan alanları iste, örneğin fl=timestamp,original,statuscode. Satır küçüldükçe cevap hızlanır.

Önemli CDX parametreleri

CDX sunucusunun dokümantasyonunda (bağlantısı yukarıdaki Wayback API sayfasında) gerekenden fazlası var. Domain geçmişi için işini görenler şunlar:

  • matchType: exact (varsayılan), prefix, host ya da domain. host, example.com üzerindeki bütün URL’leri getirir; domain alt alan adlarını da ekler. url=example.com/* yazmak prefix ile aynı şeydir.
  • from ve to: iki ucu da dahil bir tarih aralığı, 1 ile 14 hane. from=2015&to=2018 cevabı bu yıllarla sınırlar.
  • filter: filter=alan:regex biçiminde; başına ! koyarsan tersine çevirir. Birden fazla kez yazabilirsin. filter=statuscode:200 yalnızca başarılı sayfaları bırakır, filter=!mimetype:image.* görselleri atar.
  • collapse: bir alanda, ya da o alanın ilk N karakterinde, art arda gelen tekrarları siler. collapse=timestamp:4 her yılın ilk kopyasını bırakır; collapse=urlkey her URL için tek satır verir; collapse=digest içeriği değişmemiş kopyaları atlar.
  • limit: limit=N ilk N sonucu, limit=-N son N sonucu getirir. Sunucu tek sorguyu varsayılan olarak 150.000 sonuçla sınırlar.
  • showResumeKey ve resumeKey: sınırın ötesinde sonuç kaldıysa sunucu bir anahtar yazar. Onu resumeKey= ile geri gönderirsen kaldığın yerden devam edersin.
  • page, showNumPages, pageSize: çok büyük sonuçları sayfa sayfa gezmenin diğer yolu. Önce showNumPages=true ile kaç sayfa olduğunu öğren.

Expired domain kontrolü için hazır sorgular

example.com yerine baktığın domaini yaz.

Her yıldan bir kopya

https://web.archive.org/cdx/search/cdx?url=example.com&output=json&fl=timestamp,statuscode&collapse=timestamp:4

Her yılın ilk kopyası ve durum kodu gelir. Atlanan yıllar, sitenin kapalı kaldığı ya da taranmadığı dönemleri gösterir. Sonlara doğru art arda gelen 3xx kodları, domainin başka bir yere yönlendirildiğine işaret edebilir. Bunların ne kadar sorun olduğunu park edilmiş domain ve arşiv boşluğu yazısı anlatıyor.

Domainde arşivlenmiş bütün sayfalar

https://web.archive.org/cdx/search/cdx?url=example.com&matchType=domain&output=json&fl=original,timestamp&collapse=urlkey&filter=mimetype:text/html

Arşivin gördüğü her HTML sayfası için bir satır, ilk kopya tarihiyle gelir. Yolları oku. Bir yemek sitesinin adresleri bir anda ürün kodlarına, ilaç adlarına ya da numaralı sayfalara dönüşüyorsa domain el değiştirmiştir; ana sayfa ne derse desin.

Spam URL kalıpları

https://web.archive.org/cdx/search/cdx?url=example.com&matchType=domain&output=json&fl=timestamp,original&collapse=urlkey&filter=original:.*(casino|slot|bahis|viagra|cialis|replica).*

Burada çıkan her satır yakından bakmayı hak eder. Kelime listesini aradığın spama göre değiştir; Türkçe bahis spamı için "bahis" zaten listede, yanına "kumar" ya da "bonus" gibi kelimeler ekleyebilirsin. Domain spam geçmişi yazısındaki işaretlerin çoğu bu tür regex filtrelerine kolayca çevrilir. Tek bir yılda başka bir alfabeyle yazılmış binlerce yeni yol görüyorsan Japonca spam yazısında anlatılan saldırıdan şüphelen.

Son yıllardaki hatalar ve yönlendirmeler

https://web.archive.org/cdx/search/cdx?url=example.com&output=json&fl=timestamp,statuscode&from=2022&filter=!statuscode:200

2022’den bu yana 200 dönmeyen her kopyayı listeler. Sonlarda yığılan 3xx, eski sahibin domaini bırakmadan önce yönlendirdiğini düşündürür. 4xx ve 5xx yığını ise sitenin zaten can çekiştiğini gösterir.

Kısa bir Python örneği

Aşağıdaki betik günde tek kopya ister (collapse=timestamp:8) ve her yıl için başarılı HTML kopyası olan gün sayısını çıkarır. Sitenin ne kadar canlı olduğuna dair kaba ama tutarlı bir ölçü verir, cevabı da küçük tutar.

import collections
import time
import requests

CDX = "https://web.archive.org/cdx/search/cdx"

def yillara_gore_gun(domain):
    params = {
        "url": domain,
        "output": "json",
        "fl": "timestamp",
        "filter": ["statuscode:200", "mimetype:text/html"],
        "collapse": "timestamp:8",
    }
    r = requests.get(CDX, params=params, timeout=60)
    r.raise_for_status()
    satirlar = r.json()[1:]  # ilk satır alan adları
    return collections.Counter(s[0][:4] for s in satirlar)

for domain in ["example.com", "example.org"]:
    print(domain, dict(sorted(yillara_gore_gun(domain).items())))
    time.sleep(5)  # domainler arasında bekle

Diyelim ki çıktıda on yıl boyunca düzenli bir hareket, ardından iki boş yıl ve son yılda ani bir patlama var. Bu tablo, teklif vermeden önce tarayıcıda hangi yılları açman gerektiğini tam olarak söyler.

429 hatası ve sorgu hızı

429 durum kodu "Too Many Requests" demektir: sunucu senden yavaşlamanı istiyor. Yukarıdaki dokümantasyon sayfalarında sabit bir istek sınırı yazmıyor, o yüzden betiğini bir forumda okuduğun sayıya göre kurma. Onun yerine nazik kur:

  1. İstekleri tek tek gönder, aralarında bekle.
  2. fl, from/to, filter, collapse ve limit ile her sorguyu daralt; daha az ve daha küçük istekle aynı bilgiyi alırsın.
  3. 429 ya da 5xx alırsan bekle, sonra her denemede bekleme süresini uzatarak tekrar dene. Cevapta Retry-After başlığı varsa ona uy.
  4. Sonuçları sakla. Bir domainin geçen yıla kadarki geçmişi değişmez, aynı veriyi iki kez çekmenin anlamı yok.

API’nin göremedikleri

CDX dizini sayfaların ne zaman, hangi adreste ve hangi durum koduyla kopyalandığını söyler. Sayfada ne yazdığını söylemez; bunun için kopyaları açıp başlıkları ve metni okuman gerekir. Arşivin sınırlarını da devralır: kopyalar örneklemdir, kısa bir spam dönemi iki kopyanın arasına düşebilir ve bazı siteler arşivde hiç yoktur.

Backlinkler, kara listeler, Google’ın domaine bakışı ya da marka riski hakkında da hiçbir şey söylemez. Bu yüzden onu domain geçmişi sorgulama adımlarından biri olarak gör, tamamı olarak değil. Bu akışı kendin kurmak istemiyorsan hunter.domains’in nasıl süzdüğünü okuyabilirsin: arşivi domainin ilk yılı, orta dönemi ve son iki yılı boyunca okuyan bir tarama. Tek bir domain için aynı geçmiş, spam, kara liste ve metrik raporunu domain kontrol aracı çıkarır.

Sık sorulan sorular

Web Archive API ücretsiz mi?

Evet. Availability API ve CDX Server API herkese açık ve çağırmak için ücret ödemezsin. Karşılığında istek hızını düşük tut ve çektiğin veriyi sakla; ortak kullanılan bir hizmete gereksiz yük bindirme.

Web Archive API key gerekiyor mu?

Herkese açık kopyalar için gerekmiyor. CDX sunucusunun dokümantasyonu, çerez olarak gönderilen bir anahtardan yalnızca kısıtlı veriler için söz ediyor: gizli URL’ler ve bazı iç alanlar. Açık arşivi sorgulamak için ne hesap ne de anahtar lazım.

CDX API ile Availability API arasındaki fark ne?

Availability API en fazla bir kopya döndürür, o da istediğin tarihe en yakın olanıdır; hızlı bir "arşivde var mı?" kontrolü için uygundur. CDX API ise tarih, durum kodu ve içerik türüyle bütün kopyaların listesini verir ve bunları sunucu tarafında süzüp tekilleştirebilir. Domain geçmişi için CDX’i kullan.

İlgili yazılar

Geçmiş kontrolü

Domain Geçmişi Sorgulama: Almadan Önce 6 Kontrol

Domain geçmişi sorgulama nasıl yapılır? Bir alan adının eski içeriğini, sahiplerini, bağlantılarını ve ceza durumunu ücretsiz araçlarla öğrenmenin yolları.

9 dk okuma

Bir sonraki iyi domaini kaçırma.

Kuralını kur, gerisini bize bırak. Uyan domain bulunduğu an haberin olur.

Ücretsiz başla