-
Проверьте JDK
HttpClient входит в состав Java 11 и новее. Кроме того, Java 11 умеет напрямую запускать отдельный файл с исходным кодом — именно так запускаются примеры ниже.
Shell java -version -
Разрешите Basic-аутентификацию для прокси-туннелей
Начиная с Java 8u111 JDK по умолчанию отключает Basic-аутентификацию для HTTPS-туннелей, поэтому авторизация на шлюзе завершается ошибкой 407. Очистите свойство
jdk.http.auth.tunneling.disabledSchemesв командной строке или в коде до создания первого HttpClient.Shell java -Djdk.http.auth.tunneling.disabledSchemes="" ProxyCheck.java -
Отправьте запрос через шлюз
Направьте клиент на шлюз с помощью ProxySelector и отвечайте на запросы авторизации прокси через Authenticator. Программа выведет выходной IP, который видит целевой сайт.
Java // ProxyCheck.java import java.net.Authenticator; import java.net.InetSocketAddress; import java.net.PasswordAuthentication; import java.net.ProxySelector; import java.net.URI; import java.net.http.HttpClient; import java.net.http.HttpRequest; import java.net.http.HttpResponse; import java.time.Duration; public class ProxyCheck { public static void main(String[] args) throws Exception { // Must run before the first HttpClient is built System.setProperty("jdk.http.auth.tunneling.disabledSchemes", ""); HttpClient client = HttpClient.newBuilder() .proxy(ProxySelector.of(new InetSocketAddress("gw.proxonym.com", 8000))) .authenticator(new Authenticator() { @Override protected PasswordAuthentication getPasswordAuthentication() { if (getRequestorType() == RequestorType.PROXY) { return new PasswordAuthentication("USERNAME", "PASSWORD".toCharArray()); } return null; } }) .connectTimeout(Duration.ofSeconds(10)) .build(); HttpRequest request = HttpRequest.newBuilder(URI.create("https://api.ipify.org")) .timeout(Duration.ofSeconds(60)) .build(); HttpResponse<String> response = client.send(request, HttpResponse.BodyHandlers.ofString()); System.out.println("Exit IP: " + response.body()); } } -
Меняйте IP, закрепляйте его или выбирайте местоположение
Каждый HttpClient хранит собственные подключения и данные авторизации, а шлюз назначает IP на каждое подключение. Для нового IP используйте новый клиент, для закреплённого IP на срок до 120 минут — по одному клиенту на каждый ID сессии, заданный через
-session-, а для таргетинга — параметры местоположения.Java // Sessions.java import java.net.Authenticator; import java.net.InetSocketAddress; import java.net.PasswordAuthentication; import java.net.ProxySelector; import java.net.URI; import java.net.http.HttpClient; import java.net.http.HttpRequest; import java.net.http.HttpResponse; import java.time.Duration; import java.util.UUID; public class Sessions { static HttpClient clientFor(String username) { return HttpClient.newBuilder() .proxy(ProxySelector.of(new InetSocketAddress("gw.proxonym.com", 8000))) .authenticator(new Authenticator() { @Override protected PasswordAuthentication getPasswordAuthentication() { return getRequestorType() == RequestorType.PROXY ? new PasswordAuthentication(username, "PASSWORD".toCharArray()) : null; } }) .connectTimeout(Duration.ofSeconds(10)) .build(); } static String exitIp(HttpClient client) throws Exception { HttpRequest request = HttpRequest.newBuilder(URI.create("https://api.ipify.org")) .timeout(Duration.ofSeconds(60)) .build(); return client.send(request, HttpResponse.BodyHandlers.ofString()).body(); } public static void main(String[] args) throws Exception { System.setProperty("jdk.http.auth.tunneling.disabledSchemes", ""); // Rotating: a new client opens a new connection, so each request gets a new IP for (int i = 0; i < 3; i++) { System.out.println("rotating " + exitIp(clientFor("USERNAME-country-us"))); } // Sticky: one client and one session ID keep the same IP for up to 30 minutes String session = UUID.randomUUID().toString().replace("-", "").substring(0, 8); HttpClient sticky = clientFor("USERNAME-country-us-session-" + session + "-lifetime-30"); for (int i = 0; i < 3; i++) { System.out.println("sticky " + exitIp(sticky)); } // Geo-targeting: London, United Kingdom System.out.println("london " + exitIp(clientFor("USERNAME-country-gb-city-london"))); } } -
Повторяйте запросы при ошибках шлюза
При отклонённом туннеле выбрасывается IOException, например
Tunnel failed, got: 502, а отклонённая авторизация завершается ошибкойtoo many authentication attempts. При 429, 502 и 504 повторяйте запрос после короткой паузы, а при 402, 403 или неудачной авторизации останавливайтесь: повторные попытки здесь не помогут.Java static HttpResponse<String> sendWithRetry(HttpClient client, HttpRequest request, int tries) throws IOException, InterruptedException { for (int attempt = 1; ; attempt++) { try { HttpResponse<String> response = client.send(request, HttpResponse.BodyHandlers.ofString()); int status = response.statusCode(); if ((status != 429 && status < 500) || attempt == tries) { return response; } } catch (IOException e) { String message = String.valueOf(e.getMessage()); System.err.println("attempt " + attempt + ": " + message); // 402 (balance), 403 (blocked target) and a rejected login will not go away on a retry boolean permanent = message.matches(".*got: 40[23].*") || message.contains("authentication"); if (permanent || attempt == tries) { throw e; } } Thread.sleep(1000L * attempt); } }
Часто задаваемые вопросы
Почему Java получает 407 даже с правильными учётными данными?
По умолчанию JDK блокирует Basic-аутентификацию в HTTPS-туннелях, поэтому Authenticator никогда не используется для запроса CONNECT. Присвойте свойству jdk.http.auth.tunneling.disabledSchemes пустое значение до создания первого HttpClient и убедитесь, что ваш Authenticator возвращает учётные данные, когда тип запрашивающей стороны — PROXY.
Можно ли использовать OkHttp вместо HttpClient?
Да. Передайте билдеру OkHttpClient объект java.net.Proxy типа HTTP, указывающий на gw.proxonym.com:8000, и задайте proxyAuthenticator, который добавляет заголовок Proxy-Authorization, сформированный через Credentials.basic. OkHttp сам проходит аутентификацию для CONNECT, поэтому свойство туннелирования JDK на него не влияет, а параметры имени пользователя работают так же.
Как получать новый IP при каждом запросе?
Шлюз назначает IP каждому новому подключению, а HttpClient держит свои подключения открытыми для повторного использования. Если каждый вызов должен выходить с другого IP, создавайте новый клиент для каждого запроса или давайте каждому запросу собственный случайный ID сессии. Если нужен стабильный закреплённый IP, используйте один клиент.
Что означает ошибка Tunnel failed, got: 502?
Так HttpClient сообщает об отклонённом запросе CONNECT, указывая в конце статус шлюза. 502 означает сбой участника сети, через которого шёл запрос, а 504 — тайм-аут целевого сайта; в обоих случаях повторная попытка обычно проходит успешно. 402 указывает на пустой баланс или истёкший тариф, а 403 — на целевой сайт, заблокированный по правилам допустимого использования.
