Cloudflare Turnstile の解決方法: CrewAI エージェントでの

# CapSolverコアエンジン
pip install git+https://github.com/capsolver-ai/capsolver-core.git
# CapSolverエージェントツール
pip install git+https://github.com/capsolver-ai/capsolver-agent.git
# CrewAI
pip install crewai crewai-tools

export CAPSOLVER_API_KEY="your-capsolver-api-key"
export OPENAI_API_KEY="your-openai-api-key"

import asyncio
from crewai.tools import tool
from capsolver_agent.schema import create_executor

executor = create_executor(api_key="YOUR_CAPSOLVER_API_KEY")

@tool("Cloudflare Turnstileを解決")
def solve_turnstile(website_url: str, website_key: str) -> str:
    """Cloudflare Turnstileチャレンジを解決し、検証トークンを返します。
    
    ウェブサイトがCloudflare Turnstileで保護されている場合にこのツールを使用します。
    website_keyは`0x`で始まり、ページのcf-turnstile div要素のdata-sitekey属性から見つかります。
    
    引数:
        website_url: Turnstile保護ページの完全なURL
        website_key: Turnstileサイトキー（0xで始まる）
    
    戻り値:
        要求に送信するcf-turnstile-responseトークン
    """
    result = asyncio.run(executor.execute("solve_captcha", {
        "captcha_type": "cloudflare",
        "website_url": website_url,
        "website_key": website_key
    }))
    
    if result["success"]:
        return f"Turnstileは約3秒で解決しました。トークン: {result['solution']['token']}"
    return f"解決失敗: {result['error']}"

from crewai import Agent, Task, Crew, Process

# Turnstile解決機能を持つエージェント
researcher = Agent(
    role="Web Research Specialist",
    goal="Cloudflare保護サイトにアクセスし、データを収集する",
    backstory="""Cloudflare Turnstileで保護されたウェブサイトをリサーチします。 
    cf-turnstile要素やCloudflareチャレンジページでTurnstileチャレンジに遭遇した場合、
    ページURLとサイトキー（0xで始まる）を用いてsolve_turnstileツールを使用します。
    返されたトークンをcf-turnstile-responseとして送信します。""",
    tools=[solve_turnstile],
    verbose=True
)

# Turnstile解決を必要とするタスク
research_task = Task(
    description="""{url}のCloudflare保護ページにアクセスしてください。
    Turnstileサイトキーは{site_key}です。
    Turnstileチャレンジを解決し、トークンを報告してください。""",
    expected_output="保護されたリソースにアクセスするためのTurnstileトークン",
    agent=researcher
)

crew = Crew(agents=[researcher], tasks=[research_task], process=Process.sequential)
result = crew.kickoff(inputs={"url": "https://example.com", "site_key": "0x4AAAAAAA..."})

<!-- Turnstileウィジェット -->
<div class="cf-turnstile" data-sitekey="0x4AAAAAAABkMYinukE8nzYS"></div>

<!-- またはJavaScript -->
<script>
  turnstile.render('#container', { sitekey: '0x4AAAAAAABkMYinukE8nzYS' });
</script>

from capsolver_core import create_capsolver
from playwright.async_api import async_playwright

async def solve_turnstile_on_page(url: str):
    cap = create_capsolver(api_key="YOUR_CAPSOLVER_API_KEY")
    
    async with async_playwright() as p:
        browser = await p.chromium.launch()
        page = await browser.new_page()
        await page.goto(url)
        
        # 自動検出とTurnstile解決
        results = await cap.solve_on_page(page)
        for r in results:
            if r.solution:
                print(f"Turnstileは解決され、入力されました: {r.filled}")
        
        await browser.close()
    await cap.aclose()