[BUG]: Client error '431 Request Header Fields Too Large'

[pavlovsystem]

ОС

Ubuntu 24.04

Версия парсера

v3.2.04

Способ запуска

Docker

Текст ошибки

Решил попробовать парсить по двум разным ссылкам, в итоге столкнулся с интересной особенностью.

1. Валит ошибками если парсер использует куки: use_own_cookies= false, use_bypass_api = true
2. Работает, если парсер НЕ использует куки: use_own_cookies= false, use_bypass_api = false

Почему так?

Логи

root@159110:~/parser_avito# make logs
docker logs -f parser_avito_container
Waiting for 1 seconds...
2026-03-07 23:17:22.704 | INFO     | parser.cookies.external_api:_load_from_disk:273 - Загружаем сохраненные cookies с диска
2026-03-07 23:17:22.711 | INFO     | hide_private_data:log_config:64 - Запуск AvitoParse v3.2.04 с настройками:
AvitoConfig(urls=['https://www.avito.ru/all/gruzoviki_i_spetstehnika/buldozery-ASgBAgICAURU3E0?cd=1', 'https://www.avito.ru/krasnodar/telefony/mobilnye_telefony/apple/iphone_16-ASgBAgICA0SywA3GsYwVtMANzqs5sMENiPw3?cd=1'], proxy_string='', proxy_change_url='', keys_word_white_list=[], keys_word_black_list=[], seller_black_list=[], count=1, tg_token='', tg_chat_id=['***'], vk_token='', vk_user_id=[], max_price=99999999, min_price=0, geo='', max_age=0, debug_mode=0, pause_general=0, pause_between_links=0, max_count_of_retry=5, ignore_reserv=False, ignore_promotion=False, one_time_start=False, one_file_for_link=False, parse_views=False, save_xlsx=True, use_webdriver=False, use_bypass_api=True, cookies_api_key='***', output_dir=PosixPath('result'), use_own_cookies=False, parse_phone=False)
2026-03-07 23:17:22.711 | INFO     | __main__:parse:97 - page=1
2026-03-07 23:17:22.805 | WARNING  | __main__:fetch_data:79 - Ошибка при запросе https://www.avito.ru/all/gruzoviki_i_spetstehnika/buldozery-ASgBAgICAURU3E0?cd=1: Client error '431 Request Header Fields Too Large' for url 'https://www.avito.ru/all/gruzoviki_i_spetstehnika/buldozery-ASgBAgICAURU3E0?cd=1'
For more information check: https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/431
2026-03-07 23:17:22.806 | WARNING  | __main__:parse:106 - Не удалось получить HTML для https://www.avito.ru/all/gruzoviki_i_spetstehnika/buldozery-ASgBAgICAURU3E0?cd=1, пробую заново через 0 сек.
2026-03-07 23:17:22.807 | INFO     | __main__:parse:153 - Сохранять нечего
2026-03-07 23:17:22.807 | INFO     | __main__:parse:97 - page=1
2026-03-07 23:17:22.834 | WARNING  | __main__:fetch_data:79 - Ошибка при запросе https://www.avito.ru/krasnodar/telefony/mobilnye_telefony/apple/iphone_16-ASgBAgICA0SywA3GsYwVtMANzqs5sMENiPw3?cd=1: Client error '431 Request Header Fields Too Large' for url 'https://www.avito.ru/krasnodar/telefony/mobilnye_telefony/apple/iphone_16-ASgBAgICA0SywA3GsYwVtMANzqs5sMENiPw3?cd=1'
For more information check: https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/431
2026-03-07 23:17:22.834 | WARNING  | __main__:parse:106 - Не удалось получить HTML для https://www.avito.ru/krasnodar/telefony/mobilnye_telefony/apple/iphone_16-ASgBAgICA0SywA3GsYwVtMANzqs5sMENiPw3?cd=1, пробую заново через 0 сек.
2026-03-07 23:17:22.835 | INFO     | __main__:parse:153 - Сохранять нечего
2026-03-07 23:17:22.835 | INFO     | __main__:parse:155 - Хорошие запросы: 0шт, плохие: 2шт
2026-03-07 23:17:22.835 | INFO     | __main__:<module>:305 - Парсинг завершен. Пауза 0 сек
2026-03-07 23:17:22.836 | INFO     | parser.cookies.external_api:_load_from_disk:273 - Загружаем сохраненные cookies с диска
2026-03-07 23:17:22.837 | INFO     | hide_private_data:log_config:64 - Запуск AvitoParse v3.2.04 с настройками:
AvitoConfig(urls=['https://www.avito.ru/all/gruzoviki_i_spetstehnika/buldozery-ASgBAgICAURU3E0?cd=1', 'https://www.avito.ru/krasnodar/telefony/mobilnye_telefony/apple/iphone_16-ASgBAgICA0SywA3GsYwVtMANzqs5sMENiPw3?cd=1'], proxy_string='', proxy_change_url='', keys_word_white_list=[], keys_word_black_list=[], seller_black_list=[], count=1, tg_token='', tg_chat_id=['***'], vk_token='', vk_user_id=[], max_price=99999999, min_price=0, geo='', max_age=0, debug_mode=0, pause_general=0, pause_between_links=0, max_count_of_retry=5, ignore_reserv=False, ignore_promotion=False, one_time_start=False, one_file_for_link=False, parse_views=False, save_xlsx=True, use_webdriver=False, use_bypass_api=True, cookies_api_key='***', output_dir=PosixPath('result'), use_own_cookies=False, parse_phone=False)
2026-03-07 23:17:22.837 | INFO     | __main__:parse:97 - page=1
2026-03-07 23:17:22.870 | WARNING  | __main__:fetch_data:79 - Ошибка при запросе https://www.avito.ru/all/gruzoviki_i_spetstehnika/buldozery-ASgBAgICAURU3E0?cd=1: Client error '431 Request Header Fields Too Large' for url 'https://www.avito.ru/all/gruzoviki_i_spetstehnika/buldozery-ASgBAgICAURU3E0?cd=1'
For more information check: https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/431
2026-03-07 23:17:22.871 | WARNING  | __main__:parse:106 - Не удалось получить HTML для https://www.avito.ru/all/gruzoviki_i_spetstehnika/buldozery-ASgBAgICAURU3E0?cd=1, пробую заново через 0 сек.
2026-03-07 23:17:22.871 | INFO     | __main__:parse:153 - Сохранять нечего
2026-03-07 23:17:22.872 | INFO     | __main__:parse:97 - page=1
2026-03-07 23:17:22.898 | WARNING  | __main__:fetch_data:79 - Ошибка при запросе https://www.avito.ru/krasnodar/telefony/mobilnye_telefony/apple/iphone_16-ASgBAgICA0SywA3GsYwVtMANzqs5sMENiPw3?cd=1: Client error '431 Request Header Fields Too Large' for url 'https://www.avito.ru/krasnodar/telefony/mobilnye_telefony/apple/iphone_16-ASgBAgICA0SywA3GsYwVtMANzqs5sMENiPw3?cd=1'
For more information check: https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/431
2026-03-07 23:17:22.899 | WARNING  | __main__:parse:106 - Не удалось получить HTML для https://www.avito.ru/krasnodar/telefony/mobilnye_telefony/apple/iphone_16-ASgBAgICA0SywA3GsYwVtMANzqs5sMENiPw3?cd=1, пробую заново через 0 сек.
2026-03-07 23:17:22.899 | INFO     | __main__:parse:153 - Сохранять нечего
2026-03-07 23:17:22.900 | INFO     | __main__:parse:155 - Хорошие запросы: 0шт, плохие: 2шт
2026-03-07 23:17:22.900 | INFO     | __main__:<module>:305 - Парсинг завершен. Пауза 0 сек

Конфиг

[avito]
tg_token = ""
tg_chat_id = []
vk_token = ""
vk_user_id = []
urls = [
    "https://www.avito.ru/all/gruzoviki_i_spetstehnika/buldozery-ASgBAgICAURU3E0?cd=1",
    "https://www.avito.ru/krasnodar/telefony/mobilnye_telefony/apple/iphone_16-ASgBAgICA0SywA3GsYwVtMANzqs5sMENiPw3?cd=1",
]
count = 1
keys_word_white_list = []
keys_word_black_list = []
seller_black_list = []
max_price = 99999999
min_price = 0
geo = ""
proxy_string = ""
proxy_change_url = ""
pause_general = 0
pause_between_links = 0
max_age = 0
max_count_of_retry = 5
ignore_reserv = false
ignore_promotion = false
one_time_start = false
one_file_for_link = false
parse_views = false
save_xlsx = true
use_webdriver = false
cookies_api_key = "sk_live_***********"
use_own_cookies= false
use_bypass_api = true

[Duff89]

Не сталкивался с таким кодом, но суть проблемы понятна - слишком большой размер cookies для запроса. Добавлю фик в следующей версии