Reports 1-1 of 1 Clear search Modify search
Electronics and Software (Software Installation and Test)
pacaud cortese masserot - 8:59 Friday 03 September 2021 (53054) Print this report
New kernel for the RTPCs (Linux-x86_64-CL7-4.14.111-hal-3-rtai-5.2)

In an attemp to fix the rtpc freezes, we are trying an update to a more recent kernel and rtai combination (linux 4.14.11 and RTAI 5.2).

Stefano prepared a RPM package and installed it on rtpc13 for the preliminary test.

In order to avoid the pollution of /virgoApp with test versions, I have compiled the base set of Virgo real time software (TolmBase, TolmProcessor, TomFrameBuilder and Acl) for this new kernel in /user/pacaud/virgo/App.

The first check is a interrupt latency measurement, which is started by the following command:

~pacaud/virgo/App/TolmBase/v16r0/Linux-x86_64-CL7-4.14.111-hal-3-rtai-5.2/TolmControl.exe -s -l 1

An histogram of the interrupt latency is shown in the last but one column of the output of:

cat /proc/tolmdrv

After more than 12 hours, we get:
 

=== tolmdrv0 ===
  bins  ;  unpack;  ----  ;  ----  ;  ----  ;  ----  ;  ----  ;int_late;int_dura
       0;589580349;       0;       0;       0;       0;       0;       0;       0
     500;     357;       0;       0;       0;       0;       0;       0;       0
    1000;       0;       0;       0;       0;       0;       0;       0;       0
    1500;       0;       0;       0;       0;       0;       0;306849985;       0
    2000;       0;       0;       0;       0;       0;       0;282727598;574293143
    2500;       0;       0;       0;       0;       0;       0;    1728;15283897
    3000;       0;       0;       0;       0;       0;       0;     850;    1907
    3500;       0;       0;       0;       0;       0;       0;     545;    1254
    4000;       0;       0;       0;       0;       0;       0;       0;     483
    4500;       0;       0;       0;       0;       0;       0;       0;      12
    5000;       0;       0;       0;       0;       0;       0;       0;       5
    5500;       0;       0;       0;       0;       0;       0;       0;       5
-------------
>=  6000;       0;       0;       0;       0;       0;       0;       0;       0
<      0;       0;       0;       0;       0;       0;       0;       0;       0
min     ;      84;     n/a;     n/a;     n/a;     n/a;     n/a;    1714;    2046
max     ;     692;     n/a;     n/a;     n/a;     n/a;     n/a;    3905;    5775
last max
at:     ;136919819;       0;       0;       0;       0;       0;139405024;139405024
Counter = 589580706
=== Counters ===
DMA GPS time                1314686461-176100100
Interrupt count             589580706
Interrupt rate              10000 interrupts/s
Interrupt CPU id            0 589580706 0 0  
Packet latency              min:0 ns - max:0 ns
Last aligned packet size    0 bytes
Last incoming data size     0 bytes
DAQ packets                 0
DAQ packet rate             0 packets/s
Processed packets           0
Configuration packets       out:0 in:0
Input FIFO packets          0
Timeout count               fp:0 op:0 gps:0
DMA buffer overflow         0
Rejected packet count       0
Packet RX error count       pe:0 crc:0 bt:0
                            sn:0 pt:0 eop:0
DMA CPU to TOLM             0
Last DMA transfer size      0

Which is similar to what we get with the current production kernel.

Comments to this report:
pacaud - 11:02 Tuesday 07 September 2021 (53084) Print this report

After more than 4 days, we get:

=== tolmdrv0 ===
  bins  ;  unpack;  ----  ;  ----  ;  ----  ;  ----  ;  ----  ;int_late;int_dura
       0;4116105642;       0;       0;       0;       0;       0;       0;       0
     500;    2472;       0;       0;       0;       0;       0;       0;       0
    1000;       0;       0;       0;       0;       0;       0;       0;       0
    1500;       1;       0;       0;       0;       0;       0;2142130055;       0
    2000;       0;       0;       0;       0;       0;       0;1973956821;4009379354
    2500;       0;       0;       0;       0;       0;       0;   11546;106704133
    3000;       0;       0;       0;       0;       0;       0;    5776;   12626
    3500;       0;       0;       0;       0;       0;       0;    3916;    8764
    4000;       0;       0;       0;       0;       0;       0;       1;    3155
    4500;       0;       0;       0;       0;       0;       0;       0;      69
    5000;       0;       0;       0;       0;       0;       0;       0;       7
    5500;       0;       0;       0;       0;       0;       0;       0;       7
-------------
>=  6000;       0;       0;       0;       0;       0;       0;       0;       0
<      0;       0;       0;       0;       0;       0;       0;       0;       0
min     ;      84;     n/a;     n/a;     n/a;     n/a;     n/a;    1690;    2043
max     ;    1663;     n/a;     n/a;     n/a;     n/a;     n/a;    4056;    5964
last max
at:     ;731348947;       0;       0;       0;       0;       0;700921405;700921405
Counter = 4116108115

pacaud - 23:24 Wednesday 08 September 2021 (53102) Print this report

Same latency measurement, 24 hours long, with some stress tests running at the same time:

stress-ng --aggressive --cpu 4 --io 4 --hdd 4 --memcpy 4

and iperf3 doing network traffic between rtpc13 and rtpc17.

=== tolmdrv0 ===
  bins  ;  unpack;  ----  ;  ----  ;  ----  ;  ----  ;  ----  ;int_late;int_dura
       0;1226379112;       0;       0;       0;       0;       0;       0;       0
     500;  110267;       0;       0;       0;       0;       0;       0;       0
    1000;    6681;       0;       0;       0;       0;       0;       0;       0
    1500;     676;       0;       0;       0;       0;       0;453437524;       0
    2000;      40;       0;       0;       0;       0;       0;767210547;1059137401
    2500;      11;       0;       0;       0;       0;       0; 5753454;149150786
    3000;       2;       0;       0;       0;       0;       0;   89081; 8444202
    3500;       0;       0;       0;       0;       0;       0;    5558; 3451568
    4000;       0;       0;       0;       0;       0;       0;     521; 5702927
    4500;       0;       0;       0;       0;       0;       0;      82;  580224
    5000;       0;       0;       0;       0;       0;       0;      14;   27632
    5500;       0;       0;       0;       0;       0;       0;       5;    1796
    6000;       0;       0;       0;       0;       0;       0;       2;     189
    6500;       0;       0;       0;       0;       0;       0;       1;      41
    7000;       0;       0;       0;       0;       0;       0;       0;      14
    7500;       0;       0;       0;       0;       0;       0;       0;       5
    8000;       0;       0;       0;       0;       0;       0;       0;       2
    8500;       0;       0;       0;       0;       0;       0;       0;       2
-------------
>=  9000;       0;       0;       0;       0;       0;       0;       0;       0
<      0;       0;       0;       0;       0;       0;       0;       0;       0
min     ;      83;     n/a;     n/a;     n/a;     n/a;     n/a;    1702;    2052
max     ;    3168;     n/a;     n/a;     n/a;     n/a;     n/a;    6943;    8771
last max
at:     ;288946143;       0;       0;       0;       0;       0;806325005;806325005
Counter = 1226496789

 
pacaud - 11:29 Monday 13 September 2021 (53132) Print this report

Another test, 3 days long, with a realtime task (10µs busy loop, 100 channels) at 10kHz and a TolmFrameBuilder:

=== tolmdrv0 ===
  bins  ;  unpack;computin;pack_pre;pack_pos;  ----  ;  ----  ;int_late;int_dura
       0;2498075849;       0;2498080195;       0;       0;       0;       0;       0
     500;    7191;       0;    2845;  602762;       0;       0;       0;       0
    1000;       0;       0;       0;  492724;       0;       0;       0;       0
    1500;       0;       0;       0; 1034649;       0;       0;287074577;       0
    2000;       0;       0;       0;2072085070;       0;       0;2210960373;       0
    2500;       0;       0;       0;423796585;       0;       0;   41616;       0
    3000;       0;       0;       0;   71177;       0;       0;    3688;       0
    3500;       0;       0;       0;      68;       0;       0;    2589;       0
    4000;       0;       0;       0;       3;       0;       0;     195;       0
    4500;       0;       0;       0;       2;       0;       0;       2;       0
    5000;       0;       0;       0;       0;       0;       0;       0;       0
    5500;       0;       0;       0;       0;       0;       0;       0;       0
    6000;       0;       0;       0;       0;       0;       0;       0;       0
    6500;       0;       0;       0;       0;       0;       0;       0;       0
    7000;       0;       0;       0;       0;       0;       0;       0;       0
    7500;       0;       0;       0;       0;       0;       0;       0;       0
    8000;       0;       0;       0;       0;       0;       0;       0;       0
    8500;       0;       0;       0;       0;       0;       0;       0;       0
    9000;       0;       0;       0;       0;       0;       0;       0;       0
    9500;       0;       0;       0;       0;       0;       0;       0;       0
   10000;       0;       0;       0;       0;       0;       0;       0;       0
   10500;       0;       0;       0;       0;       0;       0;       0;       0
   11000;       0;       0;       0;       0;       0;       0;       0;       0
   11500;       0;2497175273;       0;       0;       0;       0;       0;       0
   12000;       0;  841932;       0;       0;       0;       0;       0;       0
   12500;       0;   64161;       0;       0;       0;       0;       0;       0
   13000;       0;     748;       0;       0;       0;       0;       0;       0
   13500;       0;     130;       0;       0;       0;       0;       0;       0
   14000;       0;     394;       0;       0;       0;       0;       0;       0
   14500;       0;     388;       0;       0;       0;       0;       0;       0
   15000;       0;      13;       0;       0;       0;       0;       0;       0
   15500;       0;       1;       0;       0;       0;       0;       0;       0
   16000;       0;       0;       0;       0;       0;       0;       0;       0
   16500;       0;       0;       0;       0;       0;       0;       0;       0
   17000;       0;       0;       0;       0;       0;       0;       0;1947036412
   17500;       0;       0;       0;       0;       0;       0;       0;547351467
   18000;       0;       0;       0;       0;       0;       0;       0; 3545390
   18500;       0;       0;       0;       0;       0;       0;       0;  140663
   19000;       0;       0;       0;       0;       0;       0;       0;    7270
   19500;       0;       0;       0;       0;       0;       0;       0;     852
   20000;       0;       0;       0;       0;       0;       0;       0;     102
   20500;       0;       0;       0;       0;       0;       0;       0;      60
   21000;       0;       0;       0;       0;       0;       0;       0;      32
   21500;       0;       0;       0;       0;       0;       0;       0;     169
   22000;       0;       0;       0;       0;       0;       0;       0;     465
   22500;       0;       0;       0;       0;       0;       0;       0;     144
   23000;       0;       0;       0;       0;       0;       0;       0;      14
-------------
>= 23500;       0;       0;       0;       0;       0;       0;       0;       0
<      0;       0;       0;       0;       0;       0;       0;       0;       0
min     ;      83;   11526;      65;     909;     n/a;     n/a;    1683;   17145
max     ;     961;   15533;     731;    4729;     n/a;     n/a;    4620;   23340
last max
at:     ;2454479932;428385334;447515035;2306007968;       0;       0;120797710;428385335
Counter = 2498083041
=== Counters ===
DMA GPS time                1315560364-838912080
Interrupt count             2498083041
Interrupt rate              10000 interrupts/s
Interrupt CPU id            0 2498083041 0 0  
Packet latency              min:0 ns - max:0 ns
Last aligned packet size    0 bytes
Last incoming data size     0 bytes
DAQ packets                 0
DAQ packet rate             0 packets/s
Processed packets           0
Configuration packets       out:0 in:0
Input FIFO packets          0
Timeout count               fp:0 op:0 gps:0
DMA buffer overflow         0
Rejected packet count       0
Packet RX error count       pe:0 crc:0 bt:0
                            sn:0 pt:0 eop:0
DMA CPU to TOLM             0
Last DMA transfer size      0

Everything works as expected.

pacaud - 14:39 Monday 13 September 2021 (53133) Print this report

The processes used in the previous test were Tpro13, TproTask13 and Tfb13, managed from VirgoOnlineTest Vpm instance.

Search Help
×

Warning

×