TinyFish AgentQLを使ってCAPTCHAを解決する方法 – CapSolverを使用したステップバイステップガイド

pip install agentql
playwright install chromium

npm install agentql
npx playwright install chromium

mkdir -p ~/capsolver-extension
unzip CapSolver.Browser.Extension-chrome-v*.zip -d ~/capsolver-extension/

ls ~/capsolver-extension/manifest.json

export const defaultConfig = {
  apiKey: 'CAP-XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX', // ← ここにあなたのキーを入力
  useCapsolver: true,
  // ... その他の設定
};

import agentql
from playwright.sync_api import sync_playwright
import time
import os

# CapSolver拡張機能のパス
CAPSOLVER_EXTENSION_PATH = os.path.expanduser("~/capsolver-extension")

def main():
    with sync_playwright() as p:
        # 永続的なコンテキストとCapSolver拡張機能でChromiumを起動
        context = p.chromium.launch_persistent_context(
            user_data_dir="./browser-data",
            headless=False,  # 拡張機能はヘッドレスモードでは動作しません
            args=[
                f"--disable-extensions-except={CAPSOLVER_EXTENSION_PATH}",
                f"--load-extension={CAPSOLVER_EXTENSION_PATH}",
            ],
        )

        # AgentQLでページをラップしてAI駆動のクエリを実行
        page = agentql.wrap(context.pages[0])

        # あなたのターゲットページに移動
        page.goto("https://example.com/protected-page")

        # CapSolverがCAPTCHAを検出および解決するのを待つ
        time.sleep(30)

        # AgentQLの自然言語クエリを使用して送信ボタンを検索およびクリック
        response = page.query_elements("""
        {
            submit_button
        }
        """)

        # 送信ボタンをクリック—CAPTCHAはすでに解決されています！
        response.submit_button.click()

        # 送信後のデータを抽出
        result = page.query_data("""
        {
            confirmation_message
        }
        """)

        print(f"結果: {result['confirmation_message']}")

        context.close()

if __name__ == "__main__":
    main()

const { chromium } = require('playwright');
const agentql = require('agentql');
const path = require('path');
const os = require('os');

const CAPSOLVER_EXTENSION_PATH = path.join(os.homedir(), 'capsolver-extension');

(async () => {
  // 永続的なコンテキストとCapSolver拡張機能でChromiumを起動
  const context = await chromium.launchPersistentContext('./browser-data', {
    headless: false, // 拡張機能はヘッドレスモードでは動作しません
    args: [
      `--disable-extensions-except=${CAPSOLVER_EXTENSION_PATH}`,
      `--load-extension=${CAPSOLVER_EXTENSION_PATH}`,
    ],
  });

  // 最初のページを取得し、AgentQLでラップ
  const page = agentql.wrap(context.pages()[0]);

  // ターゲットページに移動
  await page.goto('https://example.com/protected-page');

  // CapSolverがCAPTCHAを処理するのを待つ
  await page.waitForTimeout(30000);

  // AgentQLクエリを使用して操作—CAPTCHAはすでに解決されています
  const response = await page.queryElements(`{
    submit_button
  }`);

  await response.submit_button.click();

  // 結果データを抽出
  const result = await page.queryData(`{
    confirmation_message
  }`);

  console.log('結果:', result.confirmation_message);

  await context.close();
})();

page.goto("https://example.com/contact")

# AgentQLクエリを使用してフォームを入力
response = page.query_elements("""
{
    contact_form {
        name_field
        email_field
        message_field
        submit_button
    }
}
""")

response.contact_form.name_field.fill("John Doe")
response.contact_form.email_field.fill("john@example.com")
response.contact_form.message_field.fill("Hello, I have a question about your services.")

# CapSolverがCAPTCHAを解決するのを待つ
time.sleep(30)

# CAPTCHAトークンはすでに挿入されているので送信
response.contact_form.submit_button.click()

page.goto("https://example.com/login")

# CapSolverがTurnstileチャレンジを解決するのを待つ
time.sleep(25)

# AgentQLでログインフォームの要素を検索
response = page.query_elements("""
{
    login_form {
        email_input
        password_input
        login_button
    }
}
""")

# フォームを入力—Turnstileはすでに処理されています
response.login_form.email_input.fill("me@example.com")
response.login_form.password_input.fill("mypassword123")

# ログインをクリック
response.login_form.login_button.click()

page.goto("https://example.com/data")

# あらゆるCAPTCHAチャレンジが解除されるのを待つ
time.sleep(30)

# AgentQLで構造化されたデータを抽出
data = page.query_data("""
{
    products[] {
        name
        price
        rating
        availability
    }
}
""")

for product in data['products']:
    print(f"{product['name']}: ${product['price']} ({product['rating']} stars)")

あなたのAgentQLスクリプト
───────────────────────────────────────────────────
page.goto("https://...")       ──► Chromiumがページを読み込む
                                           │
                                           ▼
                               ┌─────────────────────────────┐
                               │  CAPTCHAウィジェットのあるページ     │
                               │                               │
                               │  CapSolver拡張機能:         │
                               │  1. コンテンツスクリプトがページ上のCAPTCHAを検出 │
                               │  2. サービスワーカーがCapSolver APIを呼び出す │
                               │  3. トークンが受信される        │
                               │  4. トークンが隠しフォームフィールドに挿入される │
                               └─────────────────────────────┘
                                           │
                                           ▼
time.sleep(30)                   拡張機能がCAPTCHAを解決...
                                           │
                                           ▼
page.query_elements(...)         AgentQLがフォーム要素を検出
submit_button.click()            フォームが有効なトークンで送信
                                           │
                                           ▼
                               "検証に成功しました！"

import agentql
from playwright.sync_api import sync_playwright
import os

# 設定
CAPSOLVER_EXTENSION_PATH = os.path.expanduser("~/capsolver-extension")
USER_DATA_DIR = "./browser-data"

with sync_playwright() as p:
    context = p.chromium.launch_persistent_context(
        user_data_dir=USER_DATA_DIR,
        headless=False,
        args=[
            f"--disable-extensions-except={CAPSOLVER_EXTENSION_PATH}",
            f"--load-extension={CAPSOLVER_EXTENSION_PATH}",
        ],
    )
    page = agentql.wrap(context.pages[0])
    # ... あなたの自動化コードここに
    context.close()

pip install capsolver

import time
import requests
import capsolver
from playwright.sync_api import sync_playwright


TINYFISH_API_KEY = "YOUR TINYFISH API KEY"
capsolver.api_key = "YOUR CAPSOLVER API KEY"


website_url = "https://www.google.com/recaptcha/api2/demo"
website_key = "6Le-wvkSAAAAAPBMRTvw0Q4Muexq9bi0DJwx_mJ-"
captcha_type = "ReCaptchaV2TaskProxyLess"


def create_tinyfish_browser(url):
    resp = requests.post(
        "https://api.browser.tinyfish.ai",
        headers={
            "X-API-Key": TINYFISH_API_KEY,
            "Content-Type": "application/json",
        },
        json={
            "url": url,
            "timeout_seconds": 300,
        },
        timeout=90,
    )
    resp.raise_for_status()
    return resp.json()


def close_tinyfish_browser(session_id):
    try:
        requests.delete(
            f"https://api.browser.tinyfish.ai/{session_id}",
            headers={"X-API-Key": TINYFISH_API_KEY},
            timeout=30,
        )
    except Exception as exc:
        print("   TinyFishブラウザセッションを閉じられませんでした:", repr(exc))


def solve_recaptcha_v2():
    print("3. CapSolverでreCAPTCHAを解決中")
    solution = capsolver.solve({
        "type": captcha_type,
        "websiteURL": website_url,
        "websiteKey": website_key,
    })

    token = solution.get("gRecaptchaResponse")
    if not token:
        raise RuntimeError(f"CapSolverからreCAPTCHAトークンが返却されませんでした: {solution}")

    print("   CapSolverタスクが解決されました：", token)
    return token


def inject_recaptcha_token(page, token):
    page.evaluate(
        """
        (token) => {
            const textarea = document.getElementById('g-recaptcha-response');
            if (textarea) {
                textarea.value = token;
            }
        }
        """,
        token,
    )
    print("   CapSolverトークンがインジェクトされました")
    page.click('input[type="submit"]')
    print("   送信ボタンがクリックされました")


def main():
    session_id = None
    try:
        print("1. TinyFishブラウザセッションの作成")
        session = create_tinyfish_browser(website_url)

        session_id = session["session_id"]
        cdp_url = session["cdp_url"]
        print("   TinyFishセッションID:", session_id)
        print("   TinyFish CDP URL:", cdp_url)

        with sync_playwright() as p:
            print("2. CDPを介してTinyFishブラウザに接続中")
            browser = p.chromium.connect_over_cdp(cdp_url)
            context = browser.contexts[0]
            page = context.pages[0] if context.pages else context.new_page()
            page.wait_for_load_state("domcontentloaded", timeout=60000)
            print("   現在のページURL:", page.url)

            token = solve_recaptcha_v2()

            print("4. CapSolverトークンのインジェクト")
            inject_recaptcha_token(page, token)

            page.wait_for_load_state("domcontentloaded", timeout=30000)
            time.sleep(3)

            body_text = page.locator("body").inner_text(timeout=10000)
            print("5. ページの結果:", " ".join(body_text.split()))

            print("6. ブラウザセッションの終了")
            browser.close()
    finally:
        if session_id:
            close_tinyfish_browser(session_id)


if __name__ == "__main__":
    main()

# ✅ 正しい — 永続的なコンテキスト、ヘッドモード
context = p.chromium.launch_persistent_context(
    user_data_dir="./browser-data",
    headless=False,
    args=[...拡張機能引数...]
)

# ❌ 間違っている — 通常のコンテキスト（拡張機能はロードされない）
browser = p.chromium.launch()
context = browser.new_context()

# Xvfbのインストール
sudo apt-get install xvfb

# 仮想ディスプレイの起動
Xvfb :99 -screen 0 1280x720x24 &

# DISPLAYの設定
export DISPLAY=:99

# 推奨のPlaywright Chromiumのインストール
npx playwright install chromium

# またはChrome for Testingをダウンロード
# 以下を参照: https://googlechromelabs.github.io/chrome-for-testing/