Web archive api denince aslında iki herkese açık uç nokta kastedilir. Availability API, bir URL’nin arşivde olup olmadığını söyler ve seçtiğin tarihe en yakın kopyayı döndürür. CDX Server API ise Wayback Machine’in kendi kayıt dizinini verir: bir URL’nin, bir hostun ya da bütün bir domainin her kopyası, tarihi, HTTP durum kodu ve içerik türüyle birlikte gelir. Internet Archive’ın dokümantasyonu herkese açık kopyalar için anahtar istemez; düz bir HTTP isteği yeter. Çok sayıda expired domaini kontrol edeceksen işini görecek olan CDX API’dir.
Tek bir domainin geçmişine tarayıcıdan bakmak istiyorsan takvim ve /* görünümü Wayback Machine nasıl kullanılır yazısında anlatılıyor. Bu yazı ise aynı işi betikle ve toplu yapmak için.
Availability API: arşivde var mı?
Bu uç nokta tek bir soruya cevap verir: bu URL’nin kopyası var mı, varsa belirli bir tarihe en yakını hangisi?
https://archive.org/wayback/available?url=example.com
https://archive.org/wayback/available?url=example.com×tamp=20120101
Resmi Wayback API sayfasına göre üç parametresi var:
url(zorunlu): sorgulanacak adres.timestamp(isteğe bağlı):YYYYMMDDhhmmssbiçiminde hedef zaman, 1 ile 14 hane arası. Vermezsen en son kopya gelir.callback(isteğe bağlı): cevabı JSONP olarak sarar.
Kopya varsa cevapta archived_snapshots içinde tek bir closest kaydı olur: available, kopyanın Wayback adresi (url), timestamp ve HTTP status. Kopya yoksa cevap boştur: {"archived_snapshots":{}}.
Uzun bir aday listesini "geçmişi var" ve "geçmişi yok" diye ikiye ayırmak için bu yeter. Geçmişi okumak için yetmez, çünkü tek bir kopya aradaki yıllar hakkında hiçbir şey söylemez. Boş cevap, sitenin arşivden çıkarıldığı anlamına da gelebilir; o durumu Web Archive excluded yazısı ayrıca ele alıyor.
Web archive CDX API ile kopya listesini almak
CDX sunucusu, Wayback Machine’in kopyaları bulmak için kullandığı dizinin kendisidir. Temel istek şöyle:
https://web.archive.org/cdx/search/cdx?url=example.com&output=json&limit=5
Her satır bir kopyayı anlatır. Varsayılan alanlar:
| Alan | İçeriği |
|---|---|
urlkey |
URL’nin sıralanabilir (SURT) biçimi |
timestamp |
Kopyanın alındığı an, YYYYMMDDhhmmss |
original |
Taranan asıl URL |
mimetype |
İçerik türü, örneğin text/html |
statuscode |
Tarayıcının aldığı HTTP durum kodu |
digest |
İçeriğin özeti (hash) |
length |
Saklanan kaydın boyutu |
output=json eklersen cevap bir JSON dizisi olur ve ilk satırında alan adları yer alır. fl ile yalnızca ihtiyacın olan alanları iste, örneğin fl=timestamp,original,statuscode. Satır küçüldükçe cevap hızlanır.
Önemli CDX parametreleri
CDX sunucusunun dokümantasyonunda (bağlantısı yukarıdaki Wayback API sayfasında) gerekenden fazlası var. Domain geçmişi için işini görenler şunlar:
matchType:exact(varsayılan),prefix,hostya dadomain.host,example.comüzerindeki bütün URL’leri getirir;domainalt alan adlarını da ekler.url=example.com/*yazmakprefixile aynı şeydir.fromveto: iki ucu da dahil bir tarih aralığı, 1 ile 14 hane.from=2015&to=2018cevabı bu yıllarla sınırlar.filter:filter=alan:regexbiçiminde; başına!koyarsan tersine çevirir. Birden fazla kez yazabilirsin.filter=statuscode:200yalnızca başarılı sayfaları bırakır,filter=!mimetype:image.*görselleri atar.collapse: bir alanda, ya da o alanın ilk N karakterinde, art arda gelen tekrarları siler.collapse=timestamp:4her yılın ilk kopyasını bırakır;collapse=urlkeyher URL için tek satır verir;collapse=digestiçeriği değişmemiş kopyaları atlar.limit:limit=Nilk N sonucu,limit=-Nson N sonucu getirir. Sunucu tek sorguyu varsayılan olarak 150.000 sonuçla sınırlar.showResumeKeyveresumeKey: sınırın ötesinde sonuç kaldıysa sunucu bir anahtar yazar. OnuresumeKey=ile geri gönderirsen kaldığın yerden devam edersin.page,showNumPages,pageSize: çok büyük sonuçları sayfa sayfa gezmenin diğer yolu. ÖnceshowNumPages=trueile kaç sayfa olduğunu öğren.
Expired domain kontrolü için hazır sorgular
example.com yerine baktığın domaini yaz.
Her yıldan bir kopya
https://web.archive.org/cdx/search/cdx?url=example.com&output=json&fl=timestamp,statuscode&collapse=timestamp:4
Her yılın ilk kopyası ve durum kodu gelir. Atlanan yıllar, sitenin kapalı kaldığı ya da taranmadığı dönemleri gösterir. Sonlara doğru art arda gelen 3xx kodları, domainin başka bir yere yönlendirildiğine işaret edebilir. Bunların ne kadar sorun olduğunu park edilmiş domain ve arşiv boşluğu yazısı anlatıyor.
Domainde arşivlenmiş bütün sayfalar
https://web.archive.org/cdx/search/cdx?url=example.com&matchType=domain&output=json&fl=original,timestamp&collapse=urlkey&filter=mimetype:text/html
Arşivin gördüğü her HTML sayfası için bir satır, ilk kopya tarihiyle gelir. Yolları oku. Bir yemek sitesinin adresleri bir anda ürün kodlarına, ilaç adlarına ya da numaralı sayfalara dönüşüyorsa domain el değiştirmiştir; ana sayfa ne derse desin.
Spam URL kalıpları
https://web.archive.org/cdx/search/cdx?url=example.com&matchType=domain&output=json&fl=timestamp,original&collapse=urlkey&filter=original:.*(casino|slot|bahis|viagra|cialis|replica).*
Burada çıkan her satır yakından bakmayı hak eder. Kelime listesini aradığın spama göre değiştir; Türkçe bahis spamı için "bahis" zaten listede, yanına "kumar" ya da "bonus" gibi kelimeler ekleyebilirsin. Domain spam geçmişi yazısındaki işaretlerin çoğu bu tür regex filtrelerine kolayca çevrilir. Tek bir yılda başka bir alfabeyle yazılmış binlerce yeni yol görüyorsan Japonca spam yazısında anlatılan saldırıdan şüphelen.
Son yıllardaki hatalar ve yönlendirmeler
https://web.archive.org/cdx/search/cdx?url=example.com&output=json&fl=timestamp,statuscode&from=2022&filter=!statuscode:200
2022’den bu yana 200 dönmeyen her kopyayı listeler. Sonlarda yığılan 3xx, eski sahibin domaini bırakmadan önce yönlendirdiğini düşündürür. 4xx ve 5xx yığını ise sitenin zaten can çekiştiğini gösterir.
Kısa bir Python örneği
Aşağıdaki betik günde tek kopya ister (collapse=timestamp:8) ve her yıl için başarılı HTML kopyası olan gün sayısını çıkarır. Sitenin ne kadar canlı olduğuna dair kaba ama tutarlı bir ölçü verir, cevabı da küçük tutar.
import collections
import time
import requests
CDX = "https://web.archive.org/cdx/search/cdx"
def yillara_gore_gun(domain):
params = {
"url": domain,
"output": "json",
"fl": "timestamp",
"filter": ["statuscode:200", "mimetype:text/html"],
"collapse": "timestamp:8",
}
r = requests.get(CDX, params=params, timeout=60)
r.raise_for_status()
satirlar = r.json()[1:] # ilk satır alan adları
return collections.Counter(s[0][:4] for s in satirlar)
for domain in ["example.com", "example.org"]:
print(domain, dict(sorted(yillara_gore_gun(domain).items())))
time.sleep(5) # domainler arasında bekle
Diyelim ki çıktıda on yıl boyunca düzenli bir hareket, ardından iki boş yıl ve son yılda ani bir patlama var. Bu tablo, teklif vermeden önce tarayıcıda hangi yılları açman gerektiğini tam olarak söyler.
429 hatası ve sorgu hızı
429 durum kodu "Too Many Requests" demektir: sunucu senden yavaşlamanı istiyor. Yukarıdaki dokümantasyon sayfalarında sabit bir istek sınırı yazmıyor, o yüzden betiğini bir forumda okuduğun sayıya göre kurma. Onun yerine nazik kur:
- İstekleri tek tek gönder, aralarında bekle.
fl,from/to,filter,collapsevelimitile her sorguyu daralt; daha az ve daha küçük istekle aynı bilgiyi alırsın.- 429 ya da 5xx alırsan bekle, sonra her denemede bekleme süresini uzatarak tekrar dene. Cevapta
Retry-Afterbaşlığı varsa ona uy. - Sonuçları sakla. Bir domainin geçen yıla kadarki geçmişi değişmez, aynı veriyi iki kez çekmenin anlamı yok.
API’nin göremedikleri
CDX dizini sayfaların ne zaman, hangi adreste ve hangi durum koduyla kopyalandığını söyler. Sayfada ne yazdığını söylemez; bunun için kopyaları açıp başlıkları ve metni okuman gerekir. Arşivin sınırlarını da devralır: kopyalar örneklemdir, kısa bir spam dönemi iki kopyanın arasına düşebilir ve bazı siteler arşivde hiç yoktur.
Backlinkler, kara listeler, Google’ın domaine bakışı ya da marka riski hakkında da hiçbir şey söylemez. Bu yüzden onu domain geçmişi sorgulama adımlarından biri olarak gör, tamamı olarak değil. Bu akışı kendin kurmak istemiyorsan hunter.domains’in nasıl süzdüğünü okuyabilirsin: arşivi domainin ilk yılı, orta dönemi ve son iki yılı boyunca okuyan bir tarama. Tek bir domain için aynı geçmiş, spam, kara liste ve metrik raporunu domain kontrol aracı çıkarır.
Sık sorulan sorular
Web Archive API ücretsiz mi?
Evet. Availability API ve CDX Server API herkese açık ve çağırmak için ücret ödemezsin. Karşılığında istek hızını düşük tut ve çektiğin veriyi sakla; ortak kullanılan bir hizmete gereksiz yük bindirme.
Web Archive API key gerekiyor mu?
Herkese açık kopyalar için gerekmiyor. CDX sunucusunun dokümantasyonu, çerez olarak gönderilen bir anahtardan yalnızca kısıtlı veriler için söz ediyor: gizli URL’ler ve bazı iç alanlar. Açık arşivi sorgulamak için ne hesap ne de anahtar lazım.
CDX API ile Availability API arasındaki fark ne?
Availability API en fazla bir kopya döndürür, o da istediğin tarihe en yakın olanıdır; hızlı bir "arşivde var mı?" kontrolü için uygundur. CDX API ise tarih, durum kodu ve içerik türüyle bütün kopyaların listesini verir ve bunları sunucu tarafında süzüp tekilleştirebilir. Domain geçmişi için CDX’i kullan.