PageProbe

PageProbe er et .NET 8-basert webcrawler-bibliotek med åpen kildekode for C#, som gjør det mulig å automatisk hente og overvåke innhold fra statisk genererte nettsider.

PageProbe er et enkelt og utvidbart .NET 8-bibliotek for webcrawling og innholdsuthenting. Det støtter HTML-parsing og håndtering av robots.txt, og kan hente ut data som tekst, metadata, bilder, lenker og multimedia. Resultatene kan eksporteres til CSV, JSON, XML eller Markdown. Biblioteket er laget for å være testbart og enkelt å utvide, noe som gjør det egnet for automatisering, datautvinning og innholdsovervåking på nettsider uten API-er.