CTI Web Scraper

Go tabanlı otomatik keşif ve bilgi toplama aracı.

Bu proje, hedef web sitelerinden manuel etkileşime gerek kalmadan HTML, ekran görüntüsü ve bağlantı haritasını çıkarmak amacıyla Golang dilini ve Chromedp teknolojisi kullanılarak geliştirilmiştir.

Temel Özellikler

• Headless Tarayıcı Otomasyonu: Modern ve JavaScript ağırlıklı siteleri arka planda sorunsuz işler.
• Ekran görüntüsü alma: Hedef sitenin anlık durumunu yüksek çözünürlüklü .png formatında kaydeder.
• Kaynak Kod Analizi: Sitenin DOM yapısını tarayarak HTML kaynak kodunu indirir.
• Bağlantı haritasını çıkarma: Sayfadaki tüm dış ve iç bağlantıları (href) ayrıştırarak listeler.
• Durum kodu yönetimi: Ağ hatalarını ve 404 (Sayfa Bulunamadı) gibi durumları tespit eder, boş yere veri çekmeye çalışmaz.
• Otomatik Dosyalama: URL içindeki geçersiz karakterleri temizler ve tüm çıktıları outputs/ klasöründe düzenli bir şekilde saklar.

Kurulum

Gereksinimler

• Bilgisayarınızda Go (Golang) kurulu olmalıdır.
• Google Chrome veya Chromium tarayıcısı yüklü olmalıdır.

Projeyi İndirme

git clone https://github.com/muzoovy/Tools.git
cd Tools/Cti-Web-Scraper

Bağımlılıkları Yükleme

go mod tidy

Kullanım

Aracı çalıştırmak için -url parametresi ile hedef siteyi belirtmeniz yeterlidir.

go run cti-web-scraper.go -url [https://hedef-site.com]

Derleme (Opsiyonel)

Aracı taşınabilir bir .exe dosyasına dönüştürmek isterseniz:

go build -o scraper
./scraper -url [https://hedef-site.com]

📂 Çıktı Yapısı

Program çalıştığında ana dizinde outputs/ adında bir klasör oluşturur ve tüm verileri buraya kaydeder.

cti-web-scraper/
├── cti-web-scraper.go
├── outputs/
│   ├── html_hedef_site_com.html      # Kaynak Kod Dosyası
│   ├── ss_hedef_site_com.png         # Ekran Görüntüsü
│   └── linkler_hedef_site_com.txt    # Link Listesi
└── README.md