OpenSpider crawlt Websites wie eine Suchmaschine und findet technische SEO-Probleme: Statuscodes, Weiterleitungen, Canonicals, hreflang, Duplikate, Indexierbarkeit und vieles mehr. Frei, quelloffen und gebaut für große Websites.
English: OpenSpider is a free, open-source SEO crawler for macOS (Apple Silicon & Intel) and Windows. Currently in development.
Crawl-Daten liegen von Anfang an auf der Festplatte statt im Arbeitsspeicher. Ziel: eine Million URLs ohne Speicherprobleme und ohne einfrierende Oberfläche.
Jeder Crawl ist eine normale SQLite-Datei. Auswerten mit SQL, Python, Excel oder jedem anderen Werkzeug, ohne Umweg über Exporte.
Apache-2.0-Lizenz. Keine URL-Grenze, Kommandozeile und geplante Crawls ohne Lizenzschlüssel, auch in CI/CD-Pipelines.
Eingebauter MCP-Server: Claude, Codex und andere Assistenten können Crawls starten und Ergebnisse gezielt abfragen.
Rust-Kern mit Tauri-Oberfläche. Kleine Installer für macOS (Apple Silicon und Intel) und Windows.
Nach Version 1.0: Seiten-Klassifizierung, Optimierungsvorschläge, Redirect-Mapping und Anbindung an Claude, OpenAI und OpenRouter.