sitemap-urls
sitemap.xml-URL-Extraktor: liest eine Sitemap oder einen Sitemap-Index (inkl. .gz) und bis zu 10 Kind-Sitemaps, liefert URLs mit lastmod/changefreq/priority, optionalem Teilstringfilter, begrenzte Liste (bis 5000).
Endpunkt
GET|POST https://forge-tools.dentreprise.workers.dev/api/sitemap-urls
Parameter
| Name | Pflicht | Typ | Beschreibung |
|---|---|---|---|
url | Pflicht | string | Sitemap URL or site origin |
limit | Optional | string | 1-5000, default 500 |
max_children | Optional | string | 0-10, default 5 |
contains | Optional | string | Only URLs containing this text |
Beispielanfrage (unbezahlt — 402 erwartet)
curl -sS -D - "https://forge-tools.dentreprise.workers.dev/api/sitemap-urls?url=https%3A%2F%2Fwww.sitemaps.org%2Fsitemap.xml&limit=50"
Beispiel einer 402-Challenge
Dasselbe Objekt wird auch als base64-Header PAYMENT-REQUIRED gesendet. Beträge sind atomare USDC-Einheiten (6 Dezimalstellen).
{
"x402Version": 2,
"error": "Payment required",
"resource": {
"url": "https://forge-tools.dentreprise.workers.dev/api/sitemap-urls",
"description": "sitemap.xml URL extractor: reads a sitemap or sitemap index (incl. .gz) and up to 10 child sitemaps, returns URLs with lastmod/changefreq/priority, optional substring filter, capped list (up to 5000).",
"mimeType": "application/json"
},
"accepts": [
{
"scheme": "exact",
"network": "eip155:8453",
"amount": "2000",
"asset": "0x833589fCD6eDb6E08f4c7C32D4f71b54bdA02913",
"payTo": "0x7B8bf45ac6AcbA6D4CFB626b57D3f5fF3C9C89F7",
"maxTimeoutSeconds": 120,
"extra": {
"name": "USD Coin",
"version": "2"
}
}
]
}Mit Zahlung wiederholen
curl -sS "https://forge-tools.dentreprise.workers.dev/api/sitemap-urls?url=https%3A%2F%2Fwww.sitemaps.org%2Fsitemap.xml&limit=50" \ -H "PAYMENT-SIGNATURE: $PAYMENT"
Beispielantwort
{
"type": "urlset",
"count": 50,
"urls": [
{
"loc": "https://…",
"lastmod": "2026-01-01"
}
]
}Kostenlose Demo / Beispiel
Dieses Tool liegt auf dem Wave-1-Worker. ?demo=1 liefert ein gekennzeichnetes Beispiel oder einen Auszug mit HTTP 200 ohne Zahlung. Der Body sind keine Livedaten. Die ersten 3 erfolgreichen echten Aufrufe pro IP und UTC-Tag sind ebenfalls kostenlos.
curl -sS "https://forge-tools.dentreprise.workers.dev/api/sitemap-urls?url=https%3A%2F%2Fwww.sitemaps.org%2Fsitemap.xml&limit=50&demo=1"
Gekennzeichnete Demo-Antwort
{
"demo": true,
"demo_label": "DEMO / SAMPLE — not live data. This is a labelled example response and was not charged.",
"charged": false,
"tool": "/api/sitemap-urls",
"docs": "https://agent-hub.dentreprise.workers.dev/tools/sitemap-urls/",
"how_to_get_live_data": "Call the same URL without demo=1. The first 3 successful real calls per IP per UTC day are free; after that attach an x402 v2 PAYMENT-SIGNATURE (USDC on Base).",
"sample": {
"type": "urlset",
"count": 50,
"urls": [
{
"loc": "https://…",
"lastmod": "2026-01-01"
}
]
}
}JavaScript — @x402/fetch
Offizieller x402-v2-Client. Installieren Sie @x402/fetch und @x402/evm. Der ältere Paketname x402-fetch ist die veraltete v1-Linie und sollte für diese Endpunkte nicht verwendet werden.
import { wrapFetchWithPaymentFromConfig } from "@x402/fetch";
import { ExactEvmScheme } from "@x402/evm";
import { privateKeyToAccount } from "viem/accounts";
// Official x402 v2 client. The older package name "x402-fetch" is the deprecated v1 line.
const account = privateKeyToAccount(process.env.EVM_PRIVATE_KEY);
const fetchWithPayment = wrapFetchWithPaymentFromConfig(fetch, {
schemes: [{ network: "eip155:8453", client: new ExactEvmScheme(account) }],
});
const res = await fetchWithPayment(
"https://forge-tools.dentreprise.workers.dev/api/sitemap-urls?url=https%3A%2F%2Fwww.sitemaps.org%2Fsitemap.xml&limit=50"
);
console.log(await res.json());Python — x402
Offizielles PyPI-Paket x402. Nutzen Sie x402HttpxClient (async) oder x402_requests (sync) nach register_exact_evm_client mit EthAccountSigner.
import asyncio
import os
from eth_account import Account
from x402 import x402Client
from x402.http.clients import x402HttpxClient
from x402.mechanisms.evm import EthAccountSigner
from x402.mechanisms.evm.exact.register import register_exact_evm_client
# Official PyPI package: x402
account = Account.from_key(os.environ["EVM_PRIVATE_KEY"])
client = x402Client()
register_exact_evm_client(client, EthAccountSigner(account))
async def main():
async with x402HttpxClient(client) as http:
res = await http.get("https://forge-tools.dentreprise.workers.dev/api/sitemap-urls?url=https%3A%2F%2Fwww.sitemaps.org%2Fsitemap.xml&limit=50")
print(res.json())
asyncio.run(main())
# Sync alternative:
# from x402 import x402ClientSync
# from x402.http.clients import x402_requests
# client = x402ClientSync()
# register_exact_evm_client(client, EthAccountSigner(account))
# with x402_requests(client) as session:
# print(session.get("https://forge-tools.dentreprise.workers.dev/api/sitemap-urls?url=https%3A%2F%2Fwww.sitemaps.org%2Fsitemap.xml&limit=50").json())MCP-Server — forge-agent-mcp
stdio deckt den gesamten Katalog (beide API-Hosts) ab. Klonen Sie forge-agent-mcp und zeigen Sie mit Ihrem MCP-Client auf src/server.mjs. Die gehostete Streamable-HTTP-Remote am ursprünglichen Gateway stellt weiterhin nur die ursprünglichen Gateway-Tools bereit.
{
"mcpServers": {
"forge-agent-hub": {
"command": "node",
"args": ["/path/to/forge-agent-mcp/src/server.mjs"]
},
"forge-agent-api": {
"url": "https://x402-gateway.forge-x402.workers.dev/mcp",
"transport": "streamable-http"
}
}
}LangChain-Tool-Wrapper
Kapseln Sie dieselben x402-Clients als LangChain-Tool mit DynamicStructuredTool (@langchain/core) oder @tool (langchain_core).
import { DynamicStructuredTool } from "@langchain/core/tools";
import { z } from "zod";
import { wrapFetchWithPaymentFromConfig } from "@x402/fetch";
import { ExactEvmScheme } from "@x402/evm";
import { privateKeyToAccount } from "viem/accounts";
const account = privateKeyToAccount(process.env.EVM_PRIVATE_KEY);
const fetchWithPayment = wrapFetchWithPaymentFromConfig(fetch, {
schemes: [{ network: "eip155:8453", client: new ExactEvmScheme(account) }],
});
export const sitemap_urls = new DynamicStructuredTool({
name: "sitemap_urls",
description: "sitemap.",
schema: z.object({}),
func: async (input) => {
const res = await fetchWithPayment("https://forge-tools.dentreprise.workers.dev/api/sitemap-urls" + "?" + new URLSearchParams(input));
return JSON.stringify(await res.json());
},
});import os
from langchain_core.tools import tool
from eth_account import Account
from x402 import x402ClientSync
from x402.http.clients import x402_requests
from x402.mechanisms.evm import EthAccountSigner
from x402.mechanisms.evm.exact.register import register_exact_evm_client
account = Account.from_key(os.environ["EVM_PRIVATE_KEY"])
client = x402ClientSync()
register_exact_evm_client(client, EthAccountSigner(account))
@tool
def sitemap_urls() -> str:
"""sitemap."""
with x402_requests(client) as session:
return session.get("https://forge-tools.dentreprise.workers.dev/api/sitemap-urls").textVerwandte Endpunkte
markdown
Ruft eine öffentliche Webseite ab und gibt bereinigtes Markdown (Skripte/Styles/Navigation entfernt) sowie den Titel zurück.
web-meta
Ruft eine öffentliche URL ab und gibt ihre Metadaten zurück: Titel, Meta-Description, Canonical, Sprache, OpenGraph- und Twitter-Card-Tags, Favicon, RSS-Feeds, h1-Überschriften.
email-check
E-Mail-Adressprüfung: RFC-Syntax, MX-/A-Einträge der Domain (Zustellbarkeitssignal, keine SMTP-Sonde), Kennzeichen für Wegwerfdomains und Rollenkonten.
rdap
Domain-Registrierungsdaten über RDAP (offizieller WHOIS-Nachfolger): Registrar, Erstellungs-/Ablauf-/Aktualisierungsdaten, Status, Nameserver, DNSSEC, Alter in Tagen.