sitemap-urls
Extracteur d’URL de sitemap.xml : lit un sitemap ou un index de sitemaps (y compris .gz) et jusqu’à 10 sitemaps enfants, renvoie les URL avec lastmod/changefreq/priority, un filtre de sous-chaîne facultatif, liste plafonnée (jusqu’à 5000).
Point de terminaison
GET|POST https://forge-tools.dentreprise.workers.dev/api/sitemap-urls
Paramètres
| Nom | Obligatoire | Type | Description |
|---|---|---|---|
url | Obligatoire | string | Sitemap URL or site origin |
limit | Facultatif | string | 1-5000, default 500 |
max_children | Facultatif | string | 0-10, default 5 |
contains | Facultatif | string | Only URLs containing this text |
Exemple de requête (non payée — attendre un 402)
curl -sS -D - "https://forge-tools.dentreprise.workers.dev/api/sitemap-urls?url=https%3A%2F%2Fwww.sitemaps.org%2Fsitemap.xml&limit=50"
Exemple de défi 402
Le même objet est aussi envoyé en en-tête PAYMENT-REQUIRED en base64. Les montants sont des unités USDC atomiques (6 décimales).
{
"x402Version": 2,
"error": "Payment required",
"resource": {
"url": "https://forge-tools.dentreprise.workers.dev/api/sitemap-urls",
"description": "sitemap.xml URL extractor: reads a sitemap or sitemap index (incl. .gz) and up to 10 child sitemaps, returns URLs with lastmod/changefreq/priority, optional substring filter, capped list (up to 5000).",
"mimeType": "application/json"
},
"accepts": [
{
"scheme": "exact",
"network": "eip155:8453",
"amount": "2000",
"asset": "0x833589fCD6eDb6E08f4c7C32D4f71b54bdA02913",
"payTo": "0x7B8bf45ac6AcbA6D4CFB626b57D3f5fF3C9C89F7",
"maxTimeoutSeconds": 120,
"extra": {
"name": "USD Coin",
"version": "2"
}
}
]
}Réessayer avec paiement
curl -sS "https://forge-tools.dentreprise.workers.dev/api/sitemap-urls?url=https%3A%2F%2Fwww.sitemaps.org%2Fsitemap.xml&limit=50" \ -H "PAYMENT-SIGNATURE: $PAYMENT"
Exemple de réponse
{
"type": "urlset",
"count": 50,
"urls": [
{
"loc": "https://…",
"lastmod": "2026-01-01"
}
]
}Démo / échantillon gratuit
Cet outil est sur le worker de la vague 1. ?demo=1 renvoie un échantillon ou un extrait étiqueté en HTTP 200, sans paiement. Le corps n’est pas une donnée réelle. Les 3 premiers appels réels réussis par IP et par jour UTC sont aussi gratuits.
curl -sS "https://forge-tools.dentreprise.workers.dev/api/sitemap-urls?url=https%3A%2F%2Fwww.sitemaps.org%2Fsitemap.xml&limit=50&demo=1"
Réponse de démo étiquetée
{
"demo": true,
"demo_label": "DEMO / SAMPLE — not live data. This is a labelled example response and was not charged.",
"charged": false,
"tool": "/api/sitemap-urls",
"docs": "https://agent-hub.dentreprise.workers.dev/tools/sitemap-urls/",
"how_to_get_live_data": "Call the same URL without demo=1. The first 3 successful real calls per IP per UTC day are free; after that attach an x402 v2 PAYMENT-SIGNATURE (USDC on Base).",
"sample": {
"type": "urlset",
"count": 50,
"urls": [
{
"loc": "https://…",
"lastmod": "2026-01-01"
}
]
}
}JavaScript — @x402/fetch
Client officiel x402 v2. Installez @x402/fetch et @x402/evm. L’ancien nom de paquet x402-fetch est la lignée v1 obsolète et ne doit pas servir pour ces points d’accès.
import { wrapFetchWithPaymentFromConfig } from "@x402/fetch";
import { ExactEvmScheme } from "@x402/evm";
import { privateKeyToAccount } from "viem/accounts";
// Official x402 v2 client. The older package name "x402-fetch" is the deprecated v1 line.
const account = privateKeyToAccount(process.env.EVM_PRIVATE_KEY);
const fetchWithPayment = wrapFetchWithPaymentFromConfig(fetch, {
schemes: [{ network: "eip155:8453", client: new ExactEvmScheme(account) }],
});
const res = await fetchWithPayment(
"https://forge-tools.dentreprise.workers.dev/api/sitemap-urls?url=https%3A%2F%2Fwww.sitemaps.org%2Fsitemap.xml&limit=50"
);
console.log(await res.json());Python — x402
Paquet officiel PyPI x402. Utilisez x402HttpxClient (async) ou x402_requests (sync) après register_exact_evm_client avec EthAccountSigner.
import asyncio
import os
from eth_account import Account
from x402 import x402Client
from x402.http.clients import x402HttpxClient
from x402.mechanisms.evm import EthAccountSigner
from x402.mechanisms.evm.exact.register import register_exact_evm_client
# Official PyPI package: x402
account = Account.from_key(os.environ["EVM_PRIVATE_KEY"])
client = x402Client()
register_exact_evm_client(client, EthAccountSigner(account))
async def main():
async with x402HttpxClient(client) as http:
res = await http.get("https://forge-tools.dentreprise.workers.dev/api/sitemap-urls?url=https%3A%2F%2Fwww.sitemaps.org%2Fsitemap.xml&limit=50")
print(res.json())
asyncio.run(main())
# Sync alternative:
# from x402 import x402ClientSync
# from x402.http.clients import x402_requests
# client = x402ClientSync()
# register_exact_evm_client(client, EthAccountSigner(account))
# with x402_requests(client) as session:
# print(session.get("https://forge-tools.dentreprise.workers.dev/api/sitemap-urls?url=https%3A%2F%2Fwww.sitemaps.org%2Fsitemap.xml&limit=50").json())Serveur MCP — forge-agent-mcp
Le mode stdio couvre tout le catalogue (les deux hôtes d’API). Clonez forge-agent-mcp et pointez votre client MCP vers src/server.mjs. Le remote Streamable HTTP hébergé sur la passerelle d’origine n’expose toujours que les outils de cette passerelle.
{
"mcpServers": {
"forge-agent-hub": {
"command": "node",
"args": ["/path/to/forge-agent-mcp/src/server.mjs"]
},
"forge-agent-api": {
"url": "https://x402-gateway.forge-x402.workers.dev/mcp",
"transport": "streamable-http"
}
}
}Wrapper d’outil LangChain
Enveloppez les mêmes clients x402 en outil LangChain avec DynamicStructuredTool (@langchain/core) ou @tool (langchain_core).
import { DynamicStructuredTool } from "@langchain/core/tools";
import { z } from "zod";
import { wrapFetchWithPaymentFromConfig } from "@x402/fetch";
import { ExactEvmScheme } from "@x402/evm";
import { privateKeyToAccount } from "viem/accounts";
const account = privateKeyToAccount(process.env.EVM_PRIVATE_KEY);
const fetchWithPayment = wrapFetchWithPaymentFromConfig(fetch, {
schemes: [{ network: "eip155:8453", client: new ExactEvmScheme(account) }],
});
export const sitemap_urls = new DynamicStructuredTool({
name: "sitemap_urls",
description: "sitemap.",
schema: z.object({}),
func: async (input) => {
const res = await fetchWithPayment("https://forge-tools.dentreprise.workers.dev/api/sitemap-urls" + "?" + new URLSearchParams(input));
return JSON.stringify(await res.json());
},
});import os
from langchain_core.tools import tool
from eth_account import Account
from x402 import x402ClientSync
from x402.http.clients import x402_requests
from x402.mechanisms.evm import EthAccountSigner
from x402.mechanisms.evm.exact.register import register_exact_evm_client
account = Account.from_key(os.environ["EVM_PRIVATE_KEY"])
client = x402ClientSync()
register_exact_evm_client(client, EthAccountSigner(account))
@tool
def sitemap_urls() -> str:
"""sitemap."""
with x402_requests(client) as session:
return session.get("https://forge-tools.dentreprise.workers.dev/api/sitemap-urls").textPoints de terminaison liés
markdown
Récupère une page web publique et renvoie un Markdown propre (scripts, styles et navigation retirés) ainsi que le titre.
web-meta
Récupère une URL publique et renvoie ses métadonnées : titre, meta description, canonical, langue, balises OpenGraph et Twitter Card, favicon, flux RSS, titres h1.
email-check
Contrôle d’adresse e-mail : syntaxe RFC, enregistrements MX/A du domaine (indice de délivrabilité, pas de sonde SMTP), indicateurs de domaine jetable et de compte de rôle.
rdap
Données d’enregistrement de domaine via RDAP (successeur officiel de WHOIS) : registrar, dates de création/expiration/mise à jour, statut, serveurs de noms, DNSSEC, âge en jours.