<div dir='auto'><div dir="auto">Hi Hugh,<div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">Thank you for the reply. I'm trying to get the radiator log and configuration file as well. </div><div dir="auto"><br></div><div dir="auto">Meanwhile, I want to share you the full TCPDUMP file (which has recorded all the tcp packet some seconds before and when the out of service occured), because yesterday I shared it just some lines due to the email size limitation. See if you still find the same. </div><div dir="auto"><br></div><div dir="auto">Based on the specific TCPDUMP file timestamp, I will share the radiator log as well.<br><br>TCPDUMP RAD1:<br>https://drive.google.com/file/d/1K7vEPwmK7JednVRt3l7uD9LyNOrXwULF/view?usp=drivesdk</div><div dir="auto"><br></div><div dir="auto">TCPDUMP RAD2:</div><div dir="auto">https://drive.google.com/file/d/1JzDoYwzdnot6lQnSPV1bPOfdxatr5-fG/view?usp=drivesdk<br><br>Additional information: Rad1 server has both radiator and mysql db application. We have assigned 16GB RAM dedicated for mysql application and 7GB RAM for other services including radiator.<br><br><div data-smartmail="gmail_signature" dir="auto">Best regards,<br><br>Mustofa Haykal<br>Cybersecurity and System Engineer<br>Kuwaiti Canadian Consulting Group (KCCG)<br><br>mustofa@kccg.com<br><br>Office : +965-2243-5566<br>Alwafaa Building 4, Fahad Al-Salem St. <br>Kuwait City<br><br>kccg.com<br><br>The content of this email is confidential and intended for the recipient specified in message only. It is strictly forbidden to share any part of this message with any third party, without a written consent of the sender. If you received this message by mistake, please reply to this message and follow with its deletion, so that we can ensure such a mistake does not occur in the future.<br><br></div></div></div><div><br><div class="elided-text">Pada tanggal 18 Agu 2023 01.49, Hugh Irvine <hugh@irvine.com.au> menulis:<br type="attribution"><blockquote style="margin:0 0 0 0.8ex;border-left:1px #ccc solid;padding-left:1ex">Hello Mustofa -<br><br>Thanks for the TCPDUMP.<br><br>The second one shows what is probably the problem:<br><br>TCPDUMP Rad2:<br><br>14:06:01.247502 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x99 length: 249<br>14:06:01.921960 IP 10.10.10.181.radius > 10.10.1.224.64414: RADIUS, Access-Accept (2), id: 0x4d length: 118<br><br>Here is an access request at 14:06:02 with id 0x9a<br><br>14:06:02.147494 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x9a length: 250<br><br>14:06:03.047428 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x9c length: 250<br>14:06:03.047490 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x97 length: 256<br>14:06:03.947587 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x98 length: 257<br>14:06:04.035043 IP 10.10.10.181.radius > 10.10.1.224.64414: RADIUS, Access-Accept (2), id: 0x4e length: 116<br>14:06:04.635278 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x9d length: 251<br>14:06:04.847410 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x9b length: 248<br>14:06:05.297543 IP 10.10.10.181.radius > 10.10.1.224.64414: RADIUS, Access-Accept (2), id: 0x58 length: 116<br>14:06:06.567235 IP 10.10.10.181.radius > 10.10.1.224.64414: RADIUS, Access-Accept (2), id: 0x4f length: 118<br>14:06:06.647468 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x99 length: 249<br>14:06:07.547420 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x9e length: 257<br><br>Here is a retry of the same access request at 14:06:07 with id 0x9a<br><br>14:06:07.547440 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x9a length: 250<br><br>The retry happens 5 seconds later than the first because the B-RAS has not seen a response and is configured with a timeout of 5 seconds.<br><br>14:06:08.447628 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x9c length: 250<br>14:06:08.645847 IP 10.10.10.181.radius > 10.10.1.224.64414: RADIUS, Access-Accept (2), id: 0x50 length: 76<br><br>This sort of problem usually happens because the authentication and/or accounting backend that Radiator uses is not fast enough.<br><br>When the B-RAS does not see a response within the timeout window it will send a retry and you end up with a cascading failure such as you observe.<br><br>TCPDUMP’s are not especially useful for troubleshooting this sort of problem, you need to check the Radiator logs.<br><br>You will need to check the Radiator logs with Trace 4 and LogMicroseconds to see exactly how long each processing step is taking.<br><br>If you need more assistance we will need to see the aforementioned Trace 4 log together with a sanitized copy of your configuration file.<br><br>regards<br><br>Hugh<br><br><br>> On 18 Aug 2023, at 03:40, Mustofa Haykal via radiator  wrote:<br>> <br>> Dear Radiator technical experts & Colleagues,<br>> <br>>  <br>> We have faced strange issue related to Radiator servers and Alcatel B-RAS NAS system.<br>> <br>>  <br>> We have multiple Radiator servers, work redundantly. The servers are handling the authentication traffics from GPON and DSL which are sent from Alcatel B-RAS. The issue is that sometimes the Alcatel B-RAS see the Radiator servers as out-of-service AAA server. However, when it happened, both B-RAS and Radiator servers are ping-able each other. Also we see no performance issue on Radiator servers as they are still handling authentication traffics and reply them to B-RAS. <br>> <br>>  <br>> When we see the out-of-service status of AAA on B-RAS, we tried to dump the TCP traffic on both Radiator servers with B-RAS IP address as the tcp source. Honestly we see no issue on the TCP dump result. However, we need 2nd opinion on this from anyone who may have faced the similar issue. Kindly check the attached tcpdump files output and advise if the access request and response seen in the tcpdump confirms our understanding that BRAS was able to send access request and Radiator was also responding to BRAS. Also we haven't do any troubleshooting activity yet on B-RAS. Our next plan of action is to take simultaneous tcpdump on both B-RAS and Radiator. Please advise if this is recommended troubleshooting plan and if there is some other tests which we can perform as well.<br>> <br>> Thank you.<br>> <br>> TCPDUMP Rad1:<br>> <br>> 14:06:00.154434 IP 10.10.10.180.radius > 10.10.1.224.64408: RADIUS, Access-Accept (2), id: 0xa1 length: 85<br>> 14:06:01.519720 IP 10.10.10.180.radius > 10.10.1.224.64408: RADIUS, Access-Accept (2), id: 0xa2 length: 79<br>> 14:06:05.042671 IP 10.10.10.180.radius > 10.10.1.224.64408: RADIUS, Access-Accept (2), id: 0xa3 length: 119<br>> 14:06:07.523760 IP 10.10.10.180.radius > 10.10.1.224.64408: RADIUS, Access-Accept (2), id: 0xa4 length: 85<br>> 14:06:09.708926 IP 10.10.10.180.radius > 10.10.1.224.64408: RADIUS, Access-Accept (2), id: 0xb2 length: 78<br>> 14:06:09.811434 IP 10.10.1.224.64438 > 10.10.10.180.radius: RADIUS, Access-Request (1), id: 0x19 length: 257<br>> 14:06:17.671433 IP 10.10.10.180.radius > 10.10.1.224.64408: RADIUS, Access-Accept (2), id: 0xa5 length: 117<br>> 14:06:22.843539 IP 10.10.10.180.radius > 10.10.1.224.64408: RADIUS, Access-Accept (2), id: 0xa6 length: 84<br>> 14:06:27.027988 IP 10.10.10.180.radius > 10.10.1.224.64408: RADIUS, Access-Accept (2), id: 0xa7 length: 124<br>> 14:06:29.783485 IP 10.10.10.180.radius > 10.10.1.224.64408: RADIUS, Access-Reject (3), id: 0xa8 length: 36<br>> 14:06:32.272322 IP 10.10.10.180.radius > 10.10.1.224.64408: RADIUS, Access-Reject (3), id: 0xa9 length: 36<br>> 14:06:34.293057 IP 10.10.10.180.37988 > 10.10.1.224.snmp: C="qnetsoprivate" GetRequest(49) E:6527.3.1.2.33.1.17.1.3.104.54.53.48.49.48.48.48.64.113.110.101.116.105<br>> 14:06:34.294066 IP 10.10.1.224.snmp > 10.10.10.180.37988: C="qnetsoprivate" GetResponse(49) E:6527.3.1.2.33.1.17.1.3.104.54.53.48.49.48.48.48.64.113.110.101.116.105=[noSuchInstance]<br>> 14:06:34.300564 IP 10.10.10.180.radius > 10.10.1.224.64408: RADIUS, Access-Accept (2), id: 0xbb length: 79<br>> <br>> TCPDUMP Rad2:<br>> <br>> 14:06:01.247502 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x99 length: 249<br>> 14:06:01.921960 IP 10.10.10.181.radius > 10.10.1.224.64414: RADIUS, Access-Accept (2), id: 0x4d length: 118<br>> 14:06:02.147494 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x9a length: 250<br>> 14:06:03.047428 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x9c length: 250<br>> 14:06:03.047490 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x97 length: 256<br>> 14:06:03.947587 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x98 length: 257<br>> 14:06:04.035043 IP 10.10.10.181.radius > 10.10.1.224.64414: RADIUS, Access-Accept (2), id: 0x4e length: 116<br>> 14:06:04.635278 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x9d length: 251<br>> 14:06:04.847410 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x9b length: 248<br>> 14:06:05.297543 IP 10.10.10.181.radius > 10.10.1.224.64414: RADIUS, Access-Accept (2), id: 0x58 length: 116<br>> 14:06:06.567235 IP 10.10.10.181.radius > 10.10.1.224.64414: RADIUS, Access-Accept (2), id: 0x4f length: 118<br>> 14:06:06.647468 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x99 length: 249<br>> 14:06:07.547420 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x9e length: 257<br>> 14:06:07.547440 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x9a length: 250<br>> 14:06:08.447628 IP 10.10.1.224.64414 > 10.10.10.181.radius: RADIUS, Access-Request (1), id: 0x9c length: 250<br>> 14:06:08.645847 IP 10.10.10.181.radius > 10.10.1.224.64414: RADIUS, Access-Accept (2), id: 0x50 length: 76<br>> <br>> <br>> Best regards,<br>> <br>> Mustofa Haykal<br>> Cybersecurity and System Engineer<br>> Kuwaiti Canadian Consulting Group (KCCG)<br>> <br>> mustofa@kccg.com<br>> <br>> Office : +965-2243-5566<br>> Alwafaa Building 4, Fahad Al-Salem St. <br>> Kuwait City<br>> <br>> kccg.com<br>> <br>> The content of this email is confidential and intended for the recipient specified in message only. It is strictly forbidden to share any part of this message with any third party, without a written consent of the sender. If you received this message by mistake, please reply to this message and follow with its deletion, so that we can ensure such a mistake does not occur in the future.<br>> <br>> _______________________________________________<br>> radiator mailing list<br>> radiator@lists.open.com.au<br>> https://lists.open.com.au/mailman/listinfo/radiator<br><br></blockquote></div><br></div></div>