[AX8004BCM / 펌웨어 16.00.8] 재답변 요청 – 정밀 측정으로 확인된 "바이트 기반 토큰 버킷
https://iptime.com/support/qna/900721
https://iptime.com/support/qna/900658
이여서 추가 질문 드립니다.
주말동안 AI 3사 상위모델까지 써가면서 교차검증 여러번 했습니다.
원인이 다를수는 있지만 지금 증상이 계속 나타나고 있습니다.
테스트 방법 결과까지 첨부하니 답변도 확실하게 자세히 해주섰으면 합니다.
[AX8004BCM / 펌웨어 16.00.8] 재답변 요청 – 정밀 측정으로 확인된 "바이트 기반 토큰 버킷(rate meter/policer)" 드롭
안녕하세요. 답변 감사합니다.
말씀해 주신 "CPU 수신 큐 128~1024, 방화벽 버스트 제한 룰 없음"을 전제로 추가 정밀 측정을 했습니다. 그 결과, 이 현상은 큐 오버플로우가 아니라 "바이트 기반 토큰 버킷(rate meter/policer)"의 동작으로 확인되었습니다. 측정 방법과 계산 근거를 아래에 모두 적었으니, 확인하신 카운터와 함께 검토를 부탁드립니다.
■ 1. 측정 환경
- 송신: 공유기 LAN 포트에 유선으로 연결된 Debian 리눅스 서버(192.168.3.233), 1Gbps Full Duplex
- 대상: ① 공유기 자체(192.168.3.1:53) ② 외부 8.8.8.8:53
- 방식: Python 표준 라이브러리로 만든 UDP DNS 질의, 고유 Query ID로 응답을 개별 대조, 응답 대기 1.5초
- 반복: 조건마다 5회 반복(지속 전송 시험은 3회), 회차 사이 3초 휴지
- 송신 측 무결성: qdisc noqueue, 방화벽 룰 없음, UDP SndbufErrors/RcvbufErrors 0, NIC TX dropped 0
→ 송신한 패킷은 모두 선로로 나갔습니다.
- 대조군: 같은 환경에서 ipTIME A5004NS-M(MT7621)은 전량 정상 통과(56/56)
■ 2. 측정 결과 (①공유기 자체와 ②8.8.8.8의 결과가 같음)
[시험 1] 버스트 한도 – 페이로드 28B 질의를 간격 없이 N개 전송
N=4 → 4개 / N=5 → 5개 / N=7 → 5개 / N=10 → 5개 / N=20 → 5개
→ N을 20까지 늘려도 정확히 5개에서 잘립니다. (5회 × 2개 대상, 모든 회차 같은 값)
[시험 2] 회복 시간 – 10개로 한도를 소진하고 D ms 쉰 뒤 다시 10개 전송, 두 번째 묶음의 통과 수
0ms → 0 / 1ms → 0~1 / 2ms → 1~2 / 3ms → 2~3 / 5ms → 4 / 10ms 이상 → 5(완전 회복)
→ 약 1.2ms마다 1개씩 일정하게 회복됩니다.
[시험 3] 패킷 크기 의존성 – EDNS 패딩으로 크기를 바꿔 간격 없이 10개 전송
28B → 5개 / 243B → 2개 / 543B → 1개 / 1043B → 1개 / 1443B → 1개 (공유기 대상 기준)
→ 패킷이 커질수록 통과 개수가 줄어듭니다. 개수가 아니라 "바이트"로 제한한다는 뜻입니다.
[시험 4] 지속 처리량 – 50개를 일정 간격으로 전송
500pps → 50/50 / 1,000pps → 47/50 / 2,000pps → 26/50 / 5,000pps → 13/50 / 10,000pps → 8~9/50
→ 보내는 속도와 관계없이 통과 속도가 일정한 상한에 고정됩니다.
■ 3. 결과 해석 (계산 근거)
(1) 버킷 크기: 약 300~370바이트
- 이더넷 프레임 기준으로 28B 질의는 74B, 243B는 289B, 543B는 589B입니다.
- 74B는 5개 통과/6개 차단, 289B는 2개 통과, 589B는 1개 통과입니다.
- "남은 토큰이 0보다 크면 통과시키는(부채 허용형)" meter로 보면
세 결과를 동시에 만족하는 버킷 크기는 296B 초과 ~ 370B 이하뿐입니다.
(2) 충전 속도: 약 830~860pps ≈ 62KB/s ≈ 0.5Mbps
- 1,000pps: 버스트 5개를 빼고 49ms 동안 42개 추가 통과 → 약 857pps
- 2,000pps: 24.5ms 동안 21개 추가 통과 → 약 857pps
- 5,000pps: 9.8ms 동안 8개 추가 통과 → 약 816pps
- 시험 2의 회복 시간(5ms에 4개, 약 800pps)과도 맞습니다.
(3) 큐 오버플로우로는 설명할 수 없는 이유
① 크기 128 이상의 디스크립터 큐라면 74B 패킷 20개(약 1.5KB) 버스트는 전부 들어가야 합니다.
실제로는 5개에서 잘립니다.
② 큐는 패킷 개수로 차기 때문에 패킷 크기에 따라 수용 개수가 5→2→1로 줄지 않습니다.
크기에 따라 줄어드는 건 바이트 단위 meter/policer의 특징입니다.
③ 큐 오버플로우라면 CPU가 비우는 즉시 회복되어야 합니다.
실제로는 1.8GHz 쿼드코어에서 약 1.2ms에 1개씩 "시간에 비례해" 회복됩니다.
④ 공유기 자체(로컬 수신)와 8.8.8.8(포워딩)이 같은 값입니다.
라우팅이 결정되기 전 단계(인그레스/CPU trap 경로)에서 제한이 걸린다는 뜻입니다.
(4) iptables 룰로도 설명할 수 없는 이유
- iptables의 limit은 패킷 개수 기준이라 패킷 크기에 따라 통과 개수가 달라지지 않습니다.
- 따라서 말씀하신 대로 방화벽 룰은 원인이 아니고,
그보다 아래 단계(Runner/RDPA, Ingress QoS, tc police 등)의 byte-rate meter를 봐야 합니다.
■ 4. 실사용 영향
- 리눅스 glibc는 A/AAAA 질의를 동시에 보냅니다. 응답 하나가 사라지면 5초 타임아웃이 생기고,
서버·컨테이너 환경에서 초기 접속이 5~10초 지연되는 일이 자주 생깁니다.
- 순간 허용량 약 350바이트, 지속 처리량 약 0.5Mbps는 신규 UDP 세션의 초기 패킷을 처리하기에 지나치게 작습니다.
예를 들어 QUIC(HTTP/3)의 Initial 패킷은 1,200바이트 이상이라, 이 조건이면 버스트당 1개만 통과합니다.
(해당 트래픽이 같은 경로를 타는지는 확인 부탁드립니다.)
- 같은 조건의 MT7621 기반 ipTIME 제품에서는 이런 현상이 없으므로,
BCM4908 플랫폼의 기본 meter 설정이 그대로 남아 있을 가능성이 높아 보입니다.
■ 5. 이전 답변 관련 확인 요청
1) 이번 원격 확인에서 위 증상을 실제로 재현해 보셨는지, 아니면 설정값만 점검하셨는지 알려주세요.
2) "드롭 기록 없음"을 확인하신 카운터의 이름(또는 명령어)을 알려주세요.
패킷은 재현성 100%로 사라지고 있으므로, 확인하신 카운터 밖의 지점에서 폐기되는 것으로 보입니다.
■ 6. 검토 요청 사항
1) Runner/RDPA의 CPU trap(host 전달) meter 설정값(rate, burst size)과 해당 meter의 drop 카운터
2) bcm_ingqos(Ingress QoS) 및 tc police 등 CPU 방향 policer의 설정값과 drop 카운터
3) 이 제한이 포트별/호스트별인지, 공유기 전체 공용인지
4) 적용되는 트래픽 범위(UDP 전체, TCP 53 SYN, 로컬 수신 등)
5) 사용자가 웹 UI에서 끌 수 있는 설정이 있는지
6) 없다면 meter 상향 또는 비활성화 펌웨어(베타 포함)를 제공할 수 있는지와 예상 일정
재현 스크립트(Python 3, 표준 라이브러리만 사용, 실행: python3 burst.py 192.168.3.1)와 원본 측정 로그를 첨부드립니다. 개발팀에서 LAN 유선 PC 한 대로 약 7분이면 그대로 재현하실 수 있습니다. 베타 펌웨어를 주시면 같은 스크립트로 즉시 재측정해서 결과를 공유드리겠습니다.
감사합니다.
https://iptime.com/support/qna/900658
이여서 추가 질문 드립니다.
주말동안 AI 3사 상위모델까지 써가면서 교차검증 여러번 했습니다.
원인이 다를수는 있지만 지금 증상이 계속 나타나고 있습니다.
테스트 방법 결과까지 첨부하니 답변도 확실하게 자세히 해주섰으면 합니다.
[AX8004BCM / 펌웨어 16.00.8] 재답변 요청 – 정밀 측정으로 확인된 "바이트 기반 토큰 버킷(rate meter/policer)" 드롭
안녕하세요. 답변 감사합니다.
말씀해 주신 "CPU 수신 큐 128~1024, 방화벽 버스트 제한 룰 없음"을 전제로 추가 정밀 측정을 했습니다. 그 결과, 이 현상은 큐 오버플로우가 아니라 "바이트 기반 토큰 버킷(rate meter/policer)"의 동작으로 확인되었습니다. 측정 방법과 계산 근거를 아래에 모두 적었으니, 확인하신 카운터와 함께 검토를 부탁드립니다.
■ 1. 측정 환경
- 송신: 공유기 LAN 포트에 유선으로 연결된 Debian 리눅스 서버(192.168.3.233), 1Gbps Full Duplex
- 대상: ① 공유기 자체(192.168.3.1:53) ② 외부 8.8.8.8:53
- 방식: Python 표준 라이브러리로 만든 UDP DNS 질의, 고유 Query ID로 응답을 개별 대조, 응답 대기 1.5초
- 반복: 조건마다 5회 반복(지속 전송 시험은 3회), 회차 사이 3초 휴지
- 송신 측 무결성: qdisc noqueue, 방화벽 룰 없음, UDP SndbufErrors/RcvbufErrors 0, NIC TX dropped 0
→ 송신한 패킷은 모두 선로로 나갔습니다.
- 대조군: 같은 환경에서 ipTIME A5004NS-M(MT7621)은 전량 정상 통과(56/56)
■ 2. 측정 결과 (①공유기 자체와 ②8.8.8.8의 결과가 같음)
[시험 1] 버스트 한도 – 페이로드 28B 질의를 간격 없이 N개 전송
N=4 → 4개 / N=5 → 5개 / N=7 → 5개 / N=10 → 5개 / N=20 → 5개
→ N을 20까지 늘려도 정확히 5개에서 잘립니다. (5회 × 2개 대상, 모든 회차 같은 값)
[시험 2] 회복 시간 – 10개로 한도를 소진하고 D ms 쉰 뒤 다시 10개 전송, 두 번째 묶음의 통과 수
0ms → 0 / 1ms → 0~1 / 2ms → 1~2 / 3ms → 2~3 / 5ms → 4 / 10ms 이상 → 5(완전 회복)
→ 약 1.2ms마다 1개씩 일정하게 회복됩니다.
[시험 3] 패킷 크기 의존성 – EDNS 패딩으로 크기를 바꿔 간격 없이 10개 전송
28B → 5개 / 243B → 2개 / 543B → 1개 / 1043B → 1개 / 1443B → 1개 (공유기 대상 기준)
→ 패킷이 커질수록 통과 개수가 줄어듭니다. 개수가 아니라 "바이트"로 제한한다는 뜻입니다.
[시험 4] 지속 처리량 – 50개를 일정 간격으로 전송
500pps → 50/50 / 1,000pps → 47/50 / 2,000pps → 26/50 / 5,000pps → 13/50 / 10,000pps → 8~9/50
→ 보내는 속도와 관계없이 통과 속도가 일정한 상한에 고정됩니다.
■ 3. 결과 해석 (계산 근거)
(1) 버킷 크기: 약 300~370바이트
- 이더넷 프레임 기준으로 28B 질의는 74B, 243B는 289B, 543B는 589B입니다.
- 74B는 5개 통과/6개 차단, 289B는 2개 통과, 589B는 1개 통과입니다.
- "남은 토큰이 0보다 크면 통과시키는(부채 허용형)" meter로 보면
세 결과를 동시에 만족하는 버킷 크기는 296B 초과 ~ 370B 이하뿐입니다.
(2) 충전 속도: 약 830~860pps ≈ 62KB/s ≈ 0.5Mbps
- 1,000pps: 버스트 5개를 빼고 49ms 동안 42개 추가 통과 → 약 857pps
- 2,000pps: 24.5ms 동안 21개 추가 통과 → 약 857pps
- 5,000pps: 9.8ms 동안 8개 추가 통과 → 약 816pps
- 시험 2의 회복 시간(5ms에 4개, 약 800pps)과도 맞습니다.
(3) 큐 오버플로우로는 설명할 수 없는 이유
① 크기 128 이상의 디스크립터 큐라면 74B 패킷 20개(약 1.5KB) 버스트는 전부 들어가야 합니다.
실제로는 5개에서 잘립니다.
② 큐는 패킷 개수로 차기 때문에 패킷 크기에 따라 수용 개수가 5→2→1로 줄지 않습니다.
크기에 따라 줄어드는 건 바이트 단위 meter/policer의 특징입니다.
③ 큐 오버플로우라면 CPU가 비우는 즉시 회복되어야 합니다.
실제로는 1.8GHz 쿼드코어에서 약 1.2ms에 1개씩 "시간에 비례해" 회복됩니다.
④ 공유기 자체(로컬 수신)와 8.8.8.8(포워딩)이 같은 값입니다.
라우팅이 결정되기 전 단계(인그레스/CPU trap 경로)에서 제한이 걸린다는 뜻입니다.
(4) iptables 룰로도 설명할 수 없는 이유
- iptables의 limit은 패킷 개수 기준이라 패킷 크기에 따라 통과 개수가 달라지지 않습니다.
- 따라서 말씀하신 대로 방화벽 룰은 원인이 아니고,
그보다 아래 단계(Runner/RDPA, Ingress QoS, tc police 등)의 byte-rate meter를 봐야 합니다.
■ 4. 실사용 영향
- 리눅스 glibc는 A/AAAA 질의를 동시에 보냅니다. 응답 하나가 사라지면 5초 타임아웃이 생기고,
서버·컨테이너 환경에서 초기 접속이 5~10초 지연되는 일이 자주 생깁니다.
- 순간 허용량 약 350바이트, 지속 처리량 약 0.5Mbps는 신규 UDP 세션의 초기 패킷을 처리하기에 지나치게 작습니다.
예를 들어 QUIC(HTTP/3)의 Initial 패킷은 1,200바이트 이상이라, 이 조건이면 버스트당 1개만 통과합니다.
(해당 트래픽이 같은 경로를 타는지는 확인 부탁드립니다.)
- 같은 조건의 MT7621 기반 ipTIME 제품에서는 이런 현상이 없으므로,
BCM4908 플랫폼의 기본 meter 설정이 그대로 남아 있을 가능성이 높아 보입니다.
■ 5. 이전 답변 관련 확인 요청
1) 이번 원격 확인에서 위 증상을 실제로 재현해 보셨는지, 아니면 설정값만 점검하셨는지 알려주세요.
2) "드롭 기록 없음"을 확인하신 카운터의 이름(또는 명령어)을 알려주세요.
패킷은 재현성 100%로 사라지고 있으므로, 확인하신 카운터 밖의 지점에서 폐기되는 것으로 보입니다.
■ 6. 검토 요청 사항
1) Runner/RDPA의 CPU trap(host 전달) meter 설정값(rate, burst size)과 해당 meter의 drop 카운터
2) bcm_ingqos(Ingress QoS) 및 tc police 등 CPU 방향 policer의 설정값과 drop 카운터
3) 이 제한이 포트별/호스트별인지, 공유기 전체 공용인지
4) 적용되는 트래픽 범위(UDP 전체, TCP 53 SYN, 로컬 수신 등)
5) 사용자가 웹 UI에서 끌 수 있는 설정이 있는지
6) 없다면 meter 상향 또는 비활성화 펌웨어(베타 포함)를 제공할 수 있는지와 예상 일정
재현 스크립트(Python 3, 표준 라이브러리만 사용, 실행: python3 burst.py 192.168.3.1)와 원본 측정 로그를 첨부드립니다. 개발팀에서 LAN 유선 PC 한 대로 약 7분이면 그대로 재현하실 수 있습니다. 베타 펌웨어를 주시면 같은 스크립트로 즉시 재측정해서 결과를 공유드리겠습니다.
감사합니다.






































