Neuigkeiten

1.0.0-rc.1

14. November 2026 · Dateien auf GitHub ↗

Release-Kandidat für 1.0: Korrekturen aus den Rückmeldungen zu beta.4 und getrennte Verbindungen pro Host für schnellere Crawls in Netzen mit Paketverlust.

• Verbindungen pro Host: OpenSpider öffnet jetzt mehrere Verbindungen zu einem Host und verteilt die Anfragen darauf. Bisher teilten sich unter HTTP/2 alle Threads eine einzige Verbindung, sodass ein verlorenes Paket alle Anfragen aufhielt. Die Zahl der gleichzeitigen Anfragen und die URL-Rate bleiben gleich; der Server erhält nicht mehr Anfragen als bisher. Die neue Einstellung steht unter Konfiguration › Geschwindigkeit › „Verbindungen pro Host“: „auto“ (Standard) nutzt so viele Verbindungen wie Threads, höchstens 6; ein fester Wert von 1 bis 6 setzt die Grenze, 1 stellt das bisherige Verhalten unter HTTP/2 wieder her. Lehnt ein Server eine zusätzliche Verbindung ab, läuft der Crawl ohne Fehlerzeilen über die bestehenden weiter. Unter HTTP/1.1 erhält ein Host höchstens so viele gleichzeitige Anfragen, wie er Verbindungen hat, bei „auto“ also höchstens 6. Die Debug-Info nennt den Wert des Crawls.
• Tabelle im Live-Crawl: Muss die Tabelle ihre Daten während eines schnellen Crawls neu laden, geschieht das jetzt still. Die Zeilen bleiben sichtbar, bis die neuen Daten da sind, und Mehrfachauswahl, Anker einer Umschalt-Auswahl und Scrollposition bleiben erhalten. Bisher konnte die Tabelle leere Zeilen zeigen, die Auswahl verlieren oder an den Anfang springen. Ein Umschalt+Klick, der während eines solchen Nachladens läuft, wird abgeschlossen statt verworfen.
• Zähler im Live-Crawl: Eine Tabelle, die geöffnet wird, während der Crawl schreibt, bleibt nicht mehr dauerhaft zurück (zum Beispiel „18 von 20“). Der Status zeigt keinen fertigen Crawl mehr, solange die Zähler noch laufen.
• Ein neuer Crawl in derselben Ansicht behält die alten Zeilen, bis die neuen da sind, ohne Ladebalken.
• Enter und „Start“ reagieren direkt nach dem Ende eines kurzen Crawls. Bisher konnte der Startbefehl gesperrt bleiben, während die Start-URL in die Vorschlagsliste gespeichert wurde. Die Rückfrage „Ersetzen“ behält ihre Standardaktion.
• „Zuletzt geöffnet“: Verschiedene Schreibweisen des Pfads einer Crawl-Datei werden zu einem Eintrag zusammengeführt; Doppeleinträge aus beta.4 verschwinden beim Laden der Liste. Einträge zeigen Name oder Domain und Datum auch dann, wenn der gemerkte Pfad anders geschrieben ist als der gespeicherte. Das behebt den bekannten Fehler aus beta.4 bei Crawl-Speicherorten hinter einer symbolischen Verknüpfung.
• „Löschen“ gibt die Crawl-Datei vollständig frei. Unter Windows ließ sich die Datei bisher nicht löschen, verschieben oder ersetzen, bis OpenSpider beendet wurde.
• Die Crawl-Verwaltung zeigt Startzeit, Dauer, Zahl der URLs und Größe im Format der Oberflächensprache.
• Statusleiste: Jeder Crawl-delay-Hinweis aus einer robots.txt erscheint nur einmal.
• Sicherheits-Update: rustix 1.1.6 (RUSTSEC-2026-0486).

1.0.0-beta.4

12. November 2026 · Dateien auf GitHub ↗

Ein neuer Update-Dialog, Live-Zähler, die mit dem Crawl Schritt halten, klare Meldungen bei nicht erreichbarer Start-URL und eine reparierte Vergleichsansicht.

• Neuer Update-Dialog: Er zeigt eine kurze Zusammenfassung der neuen Version in der Oberflächensprache und bietet „Diese Version überspringen“, „Später erinnern“ und „Beim Beenden installieren“. Eine übersprungene Version wird nur noch bei der manuellen Prüfung gemeldet; neuere Versionen werden weiterhin angekündigt. Wer die automatische Prüfung abschaltet, behält ein bereits gefundenes Release.
• Die Version trägt jetzt eine Build-Nummer, zum Beispiel „1.0.0-beta.4 (Build 2790)“, im Dialog „Über OpenSpider“, in der Debug-Info, im Update-Dialog und in openspider --version.
• Live-Crawl: Zähler und Tabellenfuß folgen dem laufenden Crawl innerhalb einer Sekunde, statt mit dem nächsten Zeilenpaket zu springen. „Abgeschlossen“ erscheint erst, wenn die Endzahlen exakt sind und die automatische Crawl-Analyse fertig ist; Übersicht und Befunde sind beim Statuswechsel also vollständig.
• Start-URL nicht erreichbar: Lässt sich die Start-URL oder ihre robots.txt nicht abrufen, endet der Crawl als „Fehlgeschlagen“, und ein Dialog nennt Ursache (DNS, Verbindung verweigert, Timeout, TLS) und Adresse. Bisher endete der Crawl einfach mit 0 URLs.
• Start-URL per robots.txt gesperrt: Der Dialog nennt die robots.txt und die sperrende Zeile. Er erscheint je Crawl und Start-URL einmal.
• Fehler-Mail: Geplante Crawls und Crawls von der Kommandozeile, die an der Start-URL scheitern, senden eine Mail mit [FAILED], Fehlerklasse, Adresse und Ursache. Die Historie des Planers führt den Lauf als „Fehlgeschlagen“, der automatische Vergleich wird dafür übersprungen.
• Vergleichsansicht repariert: Sie füllt Tabellen-, Detail- und Seitenleistenbereich, nutzt die normale gruppierte Tab-Leiste und dieselben Spalten wie die normale Ansicht mit dem Vergleichsstatus neben der Adresse, scrollt ohne Seiten durch alle Zeilen und zeigt als Modus „Vergleich“. Die Werte des Vergleichsstatus folgen der Oberflächensprache; Kopien und Exporte behalten die kanonischen Werte.
• Crawl-Verwaltung: Tippen in die Formularfelder und in die Suche funktioniert wieder. „Zuletzt geöffnet“ ist jetzt eine Liste mit Name oder Domain, Datum und Uhrzeit und einem in der Mitte gekürzten Pfad. Eine Crawl-Datei, die es nicht mehr gibt, wird mit ihrem Pfad in der Statusleiste gemeldet statt in einem Dialog mit rohem Fehlercode. Strg/Cmd+F setzt den Fokus im ganzen Dialog in die Suche.
• Enter im Start-URL-Feld startet einen Crawl und setzt einen pausierten fort; bei geänderter URL fragt OpenSpider nach, bevor ein neuer Crawl startet. In Dialogen mit OK und Abbrechen bestätigt Enter; zerstörerische Aktionen brauchen weiterhin den fokussierten Knopf.
• Menü „Konfiguration“: Jeder Eintrag öffnet jetzt den Konfigurationsdialog auf seiner Seite; bisher blieben die meisten Einträge ausgegraut. Die Liste der nicht verfügbaren Menüaktionen in der Statusleiste öffnet an ihrem Auslöser, bricht lange Zeilen um und nennt den tatsächlichen Grund.
• Übersicht in der Seitenleiste: Nach einem fertigen Crawl steht dort „Stand aktuell“ statt eines wachsenden Alters.
• MCP: Agenten können Crawls pausieren, fortsetzen und stoppen (pause_crawl, resume_crawl, stop_crawl), wenn die Option „Agent darf Crawls starten“ aktiv ist. crawl_status nennt den Zustand des Laufs, auch bei Crawls aus einem anderen Prozess.
• Detailfenster im Live-Crawl: Bereichsauswahlen mit Umschalt bleiben an einen einheitlichen Datenstand gebunden; „Alle auswählen“ ist in sehr großen Tabellen auf 20.000 Zeilen begrenzt und verweist auf den Export; Fehler beim Aktualisieren des Detailfensters werden angezeigt und erholen sich von selbst; eine Spaltenwahl wird gespeichert, bevor das Fenster schließt.
• Windows: Der Updater erkennt, ob OpenSpider mit dem MSI- oder dem EXE-Installer installiert wurde, und lädt das passende Update.
• Formular-Login: Die Anmeldung wird bestätigt, bevor der Login-Browser schließt.
• Crawl-Dateien: Die Sicherung vor einer Dateimigration verliert die Dateisperre nicht mehr; die Crawl-Verwaltung prüft alle Sperren, bevor sie eine Datei zum Schreiben öffnet.
• Sicherheits-Updates: SQLite 3.54.1 (RUSTSEC-2026-0459) und die MCP-Bibliothek rmcp 3.9.0 (RUSTSEC-2026-0457, -0461, -0462).

Bekannter Fehler unter macOS: Liegt der Crawl-Speicherort hinter einer symbolischen Verknüpfung (zum Beispiel /tmp), kann „Zuletzt geöffnet“ dieselbe Crawl-Datei zweimal zeigen. Die Korrektur folgt mit der nächsten Version.

1.0.0-beta.3

9. November 2026 · Dateien auf GitHub ↗

Schnellere Crawls, Chromium auf Abruf, Agenten mit einem Klick verbinden und ein Bericht zum Prüfen von Deployments.

• Große Crawls schneller: Crawl-Daten werden in größeren Paketen geschrieben, in unseren Messungen rund 30 % weniger Zeit bei 100.000 und 1 Million URLs. Die Link-Score-Analyse läuft jetzt im Arbeitsspeicher (1 Million URLs: 113 s → 23 s).
• JavaScript-Rendering braucht kein installiertes Chrome mehr: OpenSpider lädt auf Wunsch eine geprüfte Chromium-Version herunter und kann sie auch wieder entfernen.
• Claude Desktop, Claude Code, Codex oder Cursor mit einem Schritt an den MCP-Server anbinden. Agenten dürfen standardmäßig nur lesen; Crawls starten sie erst mit der Option „Agent darf Crawls starten“. Vorhandene Konfigurationsdateien behalten ihr Format, es wird eine Sicherung angelegt, und schreibgeschützte Dateien werden nie verändert.
• Neuer Bericht „Änderungen seit dem letzten Crawl“ vergleicht einen Crawl mit dem vorigen Crawl desselben Projekts: entfernte Seiten, neue Weiterleitungen, geänderte Canonicals und Indexierbarkeit. Praktisch nach einem Deployment; die Unterfilter lassen sich exportieren.
• Absturzberichte werden lokal gespeichert und nur mit Zustimmung gesendet.
• Visualisierungen: 3D-Crawl- und Verzeichnisgraph, Wortwolke und ein Diagramm zum gewählten Eintrag der Übersicht.
• Neuer Dialog „Über OpenSpider“ mit Entwickler, Website und Link zum Quellcode.
• Docker: ein Dockerfile, um CLI, Exporte und den MCP-Server auf Linux-Servern zu betreiben (Image selbst bauen, siehe Handbuch).
• Live-Crawl: Das Detailfenster reagiert während eines Crawls flüssiger; Auswahlen mit Umschalt+Klick und Umschalt+Pfeil gehen im laufenden Crawl nicht mehr verloren; der Crawl-Pfad-Dialog zeigt wieder seine Zeilen; die Spaltenwahl einer Detailtabelle bleibt beim Wechsel zu einer anderen URL erhalten; Hochscrollen im Tail-Modus wirkt sofort.
• Mögliche Beschädigung von Crawl-Dateien behoben: Wurden Crawls aus einem zweiten Prozess aufgelistet (CLI, MCP-Server oder eine zweite App-Instanz), während ein Crawl lief, konnte dessen Datei beschädigt werden. Das Auflisten liest solche Dateien jetzt nur noch und ändert sie nie; laufende Crawls lassen sich nicht mehr sperren.
• Korrekturen: Ein gestoppter Crawl bleibt nach einem Neustart „Gestoppt“; die Statuskarte zeigt wie die Statusleiste „Fertig (Grenze erreicht)“; die Befunde-Seitenleiste folgt der Oberflächensprache; die Reparatur einer Crawl-Datei zählt Schreibfehler nicht mehr als verlorene Zeilen; „Nach Updates suchen“ ist zuverlässiger; die Bibliothek für den Tabellen-Import ist aktualisiert (Sicherheitshinweis RUSTSEC-2026-0436).

1.0.0-beta.2

4. November 2026 · Dateien auf GitHub ↗

Wartungsversion ohne neue Funktionen: Sie prüft die automatische Aktualisierung von beta.1 auf eine neuere Version.

• App-Funktionen unverändert gegenüber beta.1.
• Bekannt: Der Chrome-Download auf Klick für JavaScript-Rendering folgt mit beta.3 (statt wie angekündigt mit beta.2).

1.0.0-beta.1

4. November 2026 · Dateien auf GitHub ↗

Erste offene Beta. Rückmeldungen bitte über Hilfe → „Feedback geben…“ oder openspider.de/beta/.

• Desktop-App für macOS (Apple Silicon und Intel, signiert und notarisiert) und Windows x64 (signiert über Azure Artifact Signing).
• Automatische Update-Prüfung (abschaltbar) mit Download im Hintergrund; Installation sofort oder beim Beenden, nie während eines laufenden Crawls.
• Live-Crawl flüssiger: gemeinsame, gedrosselte Zählung für Übersicht, Probleme und Filter; Übersicht zeichnet nur geänderte Zeilen neu.
• „Top-Probleme“ und „Befunde“ laden nach Crawl-Ende schnell; Pause, Fortsetzen und Beenden halten die Crawl-Datei sauber.
• Alte Crawls und Einstellungen werden beim Öffnen übernommen.
• Bekannt: JavaScript-Rendering nutzt in dieser Beta ein installiertes Chrome; der Download auf Klick folgt mit beta.2.