1. 웹 사이트 방문을 최소화하십시오.
단일 파충류는 주로 웹 요청의 응답을 기다리는 데 시간을 소비하므로 웹 사이트 방문을 줄이고 자신의 작업량을 줄이며 웹 사이트의 압력과 차폐의 위험을 줄일 수 있습니다.
첫 번째 단계는 프로세스를 최적화하고, 여러 페이지의 중복 수집을 피하기 위해 가능한 한 프로세스를 간소화하는 것입니다.
그렇다면 중복 제거도 매우 중요한 수단이다. 일반적으로 URL 이나 id 를 기준으로 고유성을 판단하면 이미 기어간 사람은 더 이상 기어오르지 않는다.
2. 분산 파충류
여러 가지 방법을 다 사용해도 독립 실행형 단위 시간에 올라갈 수 있는 웹 페이지의 수는 여전히 제한되어 있으며, 대량의 웹 큐에 직면해도 계산 시간은 여전히 매우 길다. (윌리엄 셰익스피어, 윈스턴, 독서명언) 이 경우 분산 파충류인 기계와 시간을 교환해야 합니다.
첫 번째 단계는 분배가 파충류의 본질도 아니고 필수도 아니다. 서로 독립적이고 통신이 없는 작업의 경우 수동으로 작업을 분할한 다음 여러 시스템에서 실행하여 각 시스템의 작업량을 줄이고 시간 소모를 두 배로 늘릴 수 있습니다.
예를 들어, 200W 의 홈페이지를 잡아야 하고, 다섯 대의 기계로 서로 중복되지 않는 40W 의 홈페이지를 잡을 수 있다. 상대적으로 독립 실행형 시간은 5 배 단축되었다.
하지만 통신이 필요한 경우 (예: 캡처할 대기열이 변경되는 경우) 캡처될 때마다 대기열이 변경되며, 작업이 나뉘어도 오버랩과 반복이 발생합니다. 프로그램이 실행될 때 각 시스템에서 캡처할 대기열이 다르기 때문입니다. 이 경우 하나의 기본 스토리지 대기열만 사용할 수 있고 다른 대기열은 개별적으로 캡처할 수 있으므로 * * * 하나의 대기열을 즐길 수 있습니다 IPIDEA 는 높은 프라이버시와 안정적인 IP 를 제공하며, 사용자 프라이버시 보호와 사용자 정보 보안에 더 많은 관심을 기울이고 있습니다. 240+ 국가의 IP 를 포함하고 API 대량 사용 지원, 멀티스레드 및 높은 동시 사용 지원.