[fix](query-forward) Fix forward query exception or stuck or potential query result loss

[Hastyshell]

Proposed changes

1. Fix forward query exception if no status code is set in master execution. EOF may result in this status.

2. Fix forward query stuck due to no result packet sent to mysql channel. Should use result packets from master.

3. Fix potential forward query result loss if follower can read status change during query process. Should judge by the status once before execution.

4. Add assertion for regression test.

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[Hastyshell]

run buildall

[doris-robot]

TPC-H: Total hot run time: 40710 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit dd7ff7882c8f1d4efab1174a8c9e6286e3ba6673, data reload: false

------ Round 1 ----------------------------------
q1	17583	7533	7266	7266
q2	2012	310	285	285
q3	12195	1075	1220	1075
q4	10566	753	820	753
q5	7741	2853	2804	2804
q6	238	153	150	150
q7	1020	630	614	614
q8	9363	1952	1917	1917
q9	6519	6435	6374	6374
q10	6976	2284	2270	2270
q11	437	243	258	243
q12	411	217	222	217
q13	18045	3008	2958	2958
q14	239	206	208	206
q15	566	533	522	522
q16	647	562	579	562
q17	965	525	561	525
q18	7227	6676	6768	6676
q19	1361	993	981	981
q20	489	198	201	198
q21	3961	3135	3223	3135
q22	1090	996	979	979
Total cold run time: 109651 ms
Total hot run time: 40710 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7262	7220	7245	7220
q2	331	239	228	228
q3	2974	2917	2930	2917
q4	2075	1933	1842	1842
q5	5733	5733	5737	5733
q6	233	148	150	148
q7	2257	1830	1791	1791
q8	3365	3552	3419	3419
q9	8888	8928	8834	8834
q10	3574	3554	3553	3553
q11	609	485	490	485
q12	859	626	594	594
q13	11172	3184	3190	3184
q14	302	271	275	271
q15	581	522	521	521
q16	698	659	641	641
q17	1842	1625	1621	1621
q18	8296	7579	7531	7531
q19	1690	1526	1393	1393
q20	2085	1859	1907	1859
q21	5507	5369	5448	5369
q22	1117	1064	1015	1015
Total cold run time: 71450 ms
Total hot run time: 60169 ms

[doris-robot]

TPC-DS: Total hot run time: 191664 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit dd7ff7882c8f1d4efab1174a8c9e6286e3ba6673, data reload: false

query1	938	386	398	386
query2	6239	2109	1968	1968
query3	8709	198	200	198
query4	33547	23487	23364	23364
query5	3678	485	475	475
query6	285	187	168	168
query7	4183	304	303	303
query8	275	215	223	215
query9	9459	2641	2646	2641
query10	490	288	279	279
query11	17780	15077	15158	15077
query12	154	100	97	97
query13	1568	493	434	434
query14	9567	7514	7241	7241
query15	254	167	177	167
query16	7702	471	461	461
query17	1660	610	590	590
query18	2100	336	316	316
query19	362	156	168	156
query20	123	115	111	111
query21	214	106	107	106
query22	4893	4592	4520	4520
query23	34927	34008	34062	34008
query24	10655	2863	2884	2863
query25	603	417	395	395
query26	738	161	168	161
query27	2016	308	297	297
query28	6384	2407	2389	2389
query29	723	439	435	435
query30	254	152	153	152
query31	1051	782	824	782
query32	104	57	57	57
query33	676	299	292	292
query34	909	502	505	502
query35	888	739	731	731
query36	1111	943	941	941
query37	142	86	87	86
query38	4093	3818	3856	3818
query39	1494	1429	1415	1415
query40	203	99	98	98
query41	47	45	46	45
query42	123	96	96	96
query43	514	482	479	479
query44	1198	798	799	798
query45	198	166	165	165
query46	1142	746	711	711
query47	1925	1844	1829	1829
query48	437	383	369	369
query49	911	400	402	400
query50	822	428	421	421
query51	7115	6903	6921	6903
query52	104	94	89	89
query53	258	183	190	183
query54	1179	496	482	482
query55	81	75	75	75
query56	289	269	292	269
query57	1239	1196	1135	1135
query58	226	233	260	233
query59	3224	3090	3101	3090
query60	284	261	273	261
query61	105	103	105	103
query62	877	682	661	661
query63	217	189	188	188
query64	4310	649	635	635
query65	3235	3166	3202	3166
query66	835	310	333	310
query67	15885	15513	15667	15513
query68	4437	574	574	574
query69	506	290	299	290
query70	1197	1053	1115	1053
query71	364	265	268	265
query72	7484	4009	4045	4009
query73	766	343	344	343
query74	10358	8918	8967	8918
query75	3460	2681	2677	2677
query76	2846	965	866	866
query77	616	303	295	295
query78	10491	9598	9595	9595
query79	2096	591	599	591
query80	1464	448	458	448
query81	584	241	235	235
query82	432	139	138	138
query83	295	136	137	136
query84	270	77	72	72
query85	1457	314	295	295
query86	457	289	305	289
query87	4539	4364	4294	4294
query88	4112	2407	2395	2395
query89	402	286	290	286
query90	2080	186	190	186
query91	144	115	106	106
query92	62	49	47	47
query93	2055	548	542	542
query94	1179	296	309	296
query95	358	260	257	257
query96	613	276	282	276
query97	3223	3157	3099	3099
query98	219	213	192	192
query99	1537	1295	1295	1295
Total cold run time: 298034 ms
Total hot run time: 191664 ms

[doris-robot]

ClickBench: Total hot run time: 31.28 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit dd7ff7882c8f1d4efab1174a8c9e6286e3ba6673, data reload: false

query1	0.04	0.04	0.05
query2	0.07	0.02	0.03
query3	0.22	0.06	0.06
query4	1.64	0.10	0.10
query5	0.52	0.51	0.52
query6	1.15	0.74	0.72
query7	0.02	0.01	0.01
query8	0.04	0.03	0.03
query9	0.57	0.50	0.50
query10	0.55	0.55	0.55
query11	0.14	0.12	0.12
query12	0.13	0.11	0.11
query13	0.62	0.59	0.60
query14	2.71	2.76	2.85
query15	0.89	0.81	0.81
query16	0.38	0.39	0.39
query17	1.02	1.03	1.06
query18	0.20	0.19	0.20
query19	1.96	1.88	2.01
query20	0.02	0.01	0.01
query21	15.37	0.58	0.57
query22	2.93	2.31	0.87
query23	17.04	1.17	0.93
query24	2.85	2.00	0.38
query25	0.31	0.17	0.10
query26	0.31	0.13	0.13
query27	0.04	0.04	0.04
query28	10.52	1.09	1.06
query29	12.54	3.19	3.19
query30	0.24	0.05	0.06
query31	2.88	0.38	0.37
query32	3.29	0.48	0.45
query33	2.97	2.99	3.07
query34	16.88	4.46	4.51
query35	4.59	4.48	4.54
query36	0.66	0.49	0.50
query37	0.09	0.06	0.06
query38	0.04	0.03	0.04
query39	0.03	0.02	0.02
query40	0.16	0.13	0.12
query41	0.08	0.02	0.02
query42	0.03	0.02	0.02
query43	0.03	0.02	0.03
Total cold run time: 106.77 s
Total hot run time: 31.28 s

[Hastyshell]

run buildall

[Hastyshell]

run buildall

[Hastyshell]

run buildall

[Hastyshell]

run cloud_p0

[Hastyshell]

run buildall

[doris-robot]

TPC-H: Total hot run time: 40876 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 01a6fe505adb3b20d0aaffef7d21c4913e842edd, data reload: false

------ Round 1 ----------------------------------
q1	17574	7769	7259	7259
q2	2020	283	277	277
q3	11885	1083	1191	1083
q4	10560	791	716	716
q5	7772	2882	2826	2826
q6	237	154	149	149
q7	993	637	612	612
q8	9386	1963	1954	1954
q9	7376	6444	6440	6440
q10	6981	2279	2271	2271
q11	440	248	248	248
q12	402	224	216	216
q13	17796	3004	2983	2983
q14	238	207	215	207
q15	586	523	527	523
q16	682	615	579	579
q17	970	561	554	554
q18	7234	6689	6660	6660
q19	1343	1011	948	948
q20	474	203	196	196
q21	3958	3206	3273	3206
q22	1073	1013	969	969
Total cold run time: 109980 ms
Total hot run time: 40876 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7270	7255	7204	7204
q2	333	227	228	227
q3	3061	2997	2903	2903
q4	2040	1834	1818	1818
q5	5726	5763	5746	5746
q6	245	149	143	143
q7	2299	1881	1879	1879
q8	3467	3630	3469	3469
q9	8996	9033	8809	8809
q10	3582	3541	3511	3511
q11	592	494	480	480
q12	873	619	631	619
q13	9039	3202	3121	3121
q14	304	286	271	271
q15	566	529	525	525
q16	687	628	626	626
q17	1840	1629	1628	1628
q18	8413	7829	7656	7656
q19	1704	1406	1576	1406
q20	2118	1873	1920	1873
q21	5479	5235	5467	5235
q22	1113	1019	1081	1019
Total cold run time: 69747 ms
Total hot run time: 60168 ms

[doris-robot]

TPC-DS: Total hot run time: 191541 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 01a6fe505adb3b20d0aaffef7d21c4913e842edd, data reload: false

query1	946	383	401	383
query2	6238	2117	2000	2000
query3	8684	194	204	194
query4	34043	23616	23515	23515
query5	3549	467	490	467
query6	261	169	164	164
query7	4209	304	296	296
query8	281	221	221	221
query9	9357	2675	2679	2675
query10	446	284	278	278
query11	17993	15166	15183	15166
query12	136	101	98	98
query13	1581	455	450	450
query14	9632	7331	7673	7331
query15	257	177	181	177
query16	7709	462	460	460
query17	1694	643	605	605
query18	1500	304	354	304
query19	380	162	159	159
query20	122	117	112	112
query21	204	106	102	102
query22	4656	4523	4275	4275
query23	35062	34203	34023	34023
query24	11007	2872	2899	2872
query25	576	405	396	396
query26	1063	162	161	161
query27	2215	309	298	298
query28	7389	2389	2403	2389
query29	737	444	432	432
query30	278	153	159	153
query31	1033	803	814	803
query32	99	53	55	53
query33	759	291	285	285
query34	921	516	496	496
query35	899	750	750	750
query36	1099	940	957	940
query37	148	93	92	92
query38	4032	3839	3898	3839
query39	1458	1436	1409	1409
query40	211	100	98	98
query41	48	44	44	44
query42	121	95	102	95
query43	542	481	492	481
query44	1252	800	808	800
query45	193	163	167	163
query46	1162	709	729	709
query47	1889	1867	1802	1802
query48	436	357	358	357
query49	922	412	409	409
query50	827	418	413	413
query51	7362	6955	6946	6946
query52	98	89	90	89
query53	259	179	190	179
query54	1210	489	482	482
query55	81	79	76	76
query56	280	270	273	270
query57	1256	1158	1170	1158
query58	227	220	246	220
query59	3164	2918	2941	2918
query60	295	266	274	266
query61	112	106	100	100
query62	865	665	676	665
query63	220	182	180	180
query64	4030	634	609	609
query65	3251	3170	3184	3170
query66	864	306	306	306
query67	15694	15488	15433	15433
query68	4565	575	556	556
query69	546	312	298	298
query70	1156	1126	1116	1116
query71	353	277	300	277
query72	7291	4010	3959	3959
query73	768	348	348	348
query74	10271	9000	8966	8966
query75	3407	2684	2667	2667
query76	3206	917	834	834
query77	594	284	296	284
query78	10408	9640	9497	9497
query79	1465	592	599	592
query80	1382	467	458	458
query81	585	244	242	242
query82	381	140	142	140
query83	310	135	136	135
query84	282	81	77	77
query85	1463	308	286	286
query86	419	297	304	297
query87	4473	4301	4378	4301
query88	3681	2394	2381	2381
query89	405	282	279	279
query90	2085	192	184	184
query91	138	108	106	106
query92	67	48	49	48
query93	1550	559	546	546
query94	1124	302	274	274
query95	363	253	257	253
query96	615	273	277	273
query97	3231	3125	3135	3125
query98	219	200	189	189
query99	1529	1307	1292	1292
Total cold run time: 297856 ms
Total hot run time: 191541 ms

[doris-robot]

ClickBench: Total hot run time: 32.24 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 01a6fe505adb3b20d0aaffef7d21c4913e842edd, data reload: false

query1	0.04	0.04	0.03
query2	0.07	0.03	0.03
query3	0.23	0.06	0.06
query4	1.65	0.11	0.11
query5	0.52	0.52	0.52
query6	1.12	0.72	0.74
query7	0.01	0.02	0.01
query8	0.03	0.03	0.03
query9	0.55	0.50	0.50
query10	0.55	0.55	0.55
query11	0.14	0.11	0.11
query12	0.14	0.11	0.11
query13	0.61	0.60	0.63
query14	2.80	2.81	2.74
query15	0.90	0.82	0.85
query16	0.38	0.38	0.39
query17	0.99	1.07	1.00
query18	0.20	0.20	0.20
query19	1.90	1.78	2.06
query20	0.01	0.01	0.01
query21	15.36	0.57	0.58
query22	2.24	2.01	1.47
query23	17.01	1.07	0.92
query24	2.64	0.78	1.27
query25	0.25	0.08	0.07
query26	0.54	0.14	0.12
query27	0.04	0.03	0.04
query28	11.06	1.10	1.06
query29	12.55	3.29	3.27
query30	0.24	0.07	0.06
query31	2.87	0.38	0.38
query32	3.28	0.46	0.46
query33	3.02	3.03	3.00
query34	17.07	4.44	4.52
query35	4.50	4.56	4.53
query36	0.66	0.48	0.47
query37	0.08	0.06	0.06
query38	0.04	0.03	0.03
query39	0.04	0.02	0.02
query40	0.15	0.12	0.12
query41	0.08	0.02	0.02
query42	0.03	0.02	0.02
query43	0.04	0.03	0.03
Total cold run time: 106.63 s
Total hot run time: 32.24 s

[Hastyshell]

run buildall

[doris-robot]

TPC-H: Total hot run time: 40629 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit b2364141b52c5d1273bb8ec10fcd557d65fd4c93, data reload: false

------ Round 1 ----------------------------------
q1	17617	7477	7287	7287
q2	2027	279	267	267
q3	12180	1075	1161	1075
q4	10597	755	784	755
q5	7747	2896	2807	2807
q6	237	154	149	149
q7	993	618	620	618
q8	9344	1926	1933	1926
q9	6478	6459	6375	6375
q10	6968	2345	2330	2330
q11	431	248	245	245
q12	413	223	225	223
q13	17768	2970	2980	2970
q14	249	211	211	211
q15	567	538	541	538
q16	660	595	583	583
q17	964	597	471	471
q18	7213	6583	6615	6583
q19	1344	897	951	897
q20	482	212	206	206
q21	4001	3307	3110	3110
q22	1099	1018	1003	1003
Total cold run time: 109379 ms
Total hot run time: 40629 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7281	7293	7253	7253
q2	324	236	236	236
q3	2959	2871	2932	2871
q4	2072	1819	1773	1773
q5	5732	5698	5734	5698
q6	232	146	149	146
q7	2200	1903	1789	1789
q8	3334	3571	3457	3457
q9	8964	8828	8850	8828
q10	3854	3569	3550	3550
q11	587	503	500	500
q12	843	643	645	643
q13	10906	3156	3123	3123
q14	317	267	273	267
q15	562	524	515	515
q16	679	644	646	644
q17	1841	1619	1586	1586
q18	8282	7661	7484	7484
q19	1714	1524	1437	1437
q20	2121	1851	1889	1851
q21	5700	5247	5477	5247
q22	1115	1031	1076	1031
Total cold run time: 71619 ms
Total hot run time: 59929 ms

[doris-robot]

TPC-DS: Total hot run time: 192089 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit b2364141b52c5d1273bb8ec10fcd557d65fd4c93, data reload: false

query1	925	403	411	403
query2	6244	2010	1992	1992
query3	8677	197	200	197
query4	34099	23699	23605	23605
query5	3455	476	476	476
query6	261	176	167	167
query7	4190	306	298	298
query8	275	217	223	217
query9	9417	2668	2672	2668
query10	462	278	281	278
query11	17800	15247	15235	15235
query12	131	99	95	95
query13	1578	475	456	456
query14	9658	7351	7296	7296
query15	251	174	172	172
query16	7996	426	397	397
query17	1645	633	625	625
query18	2116	354	322	322
query19	289	155	159	155
query20	129	110	111	110
query21	211	103	105	103
query22	4851	4809	4600	4600
query23	34736	34086	34155	34086
query24	11074	2887	2873	2873
query25	621	412	396	396
query26	1177	161	171	161
query27	2290	299	297	297
query28	7630	2412	2404	2404
query29	835	438	435	435
query30	265	149	154	149
query31	1018	798	783	783
query32	105	54	62	54
query33	770	298	297	297
query34	927	503	510	503
query35	941	759	742	742
query36	1102	966	968	966
query37	158	85	88	85
query38	4130	4065	3874	3874
query39	1476	1436	1428	1428
query40	211	100	98	98
query41	48	46	45	45
query42	120	96	97	96
query43	533	498	488	488
query44	1222	824	812	812
query45	192	164	168	164
query46	1151	740	717	717
query47	1966	1881	1861	1861
query48	438	350	355	350
query49	933	423	412	412
query50	835	405	404	404
query51	7034	6891	6974	6891
query52	99	86	88	86
query53	259	179	181	179
query54	1211	488	484	484
query55	78	74	73	73
query56	285	253	264	253
query57	1289	1137	1159	1137
query58	234	234	231	231
query59	3196	3040	2866	2866
query60	290	264	269	264
query61	106	105	95	95
query62	883	686	680	680
query63	218	189	183	183
query64	3901	633	628	628
query65	3265	3229	3200	3200
query66	752	306	318	306
query67	15987	15688	15495	15495
query68	4379	567	562	562
query69	527	296	295	295
query70	1217	1056	1142	1056
query71	351	290	272	272
query72	7223	3943	3940	3940
query73	788	344	341	341
query74	10422	9002	9013	9002
query75	3442	2703	2638	2638
query76	2831	892	946	892
query77	609	295	298	295
query78	10719	9613	9529	9529
query79	2493	599	622	599
query80	1075	441	449	441
query81	586	242	240	240
query82	637	135	131	131
query83	281	138	144	138
query84	272	75	85	75
query85	1416	291	287	287
query86	444	304	275	275
query87	4527	4258	4305	4258
query88	3746	2394	2364	2364
query89	399	292	294	292
query90	1966	186	186	186
query91	133	105	105	105
query92	69	47	46	46
query93	2372	554	550	550
query94	1036	302	266	266
query95	352	251	259	251
query96	622	282	281	281
query97	3295	3140	3098	3098
query98	222	200	190	190
query99	1780	1296	1301	1296
Total cold run time: 300882 ms
Total hot run time: 192089 ms

[doris-robot]

ClickBench: Total hot run time: 33.06 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit b2364141b52c5d1273bb8ec10fcd557d65fd4c93, data reload: false

query1	0.03	0.03	0.03
query2	0.06	0.03	0.03
query3	0.22	0.06	0.06
query4	1.64	0.10	0.10
query5	0.49	0.51	0.52
query6	1.13	0.72	0.72
query7	0.02	0.02	0.01
query8	0.04	0.02	0.03
query9	0.55	0.52	0.48
query10	0.54	0.56	0.55
query11	0.14	0.11	0.11
query12	0.13	0.11	0.11
query13	0.62	0.62	0.59
query14	2.72	2.74	2.85
query15	0.90	0.82	0.82
query16	0.39	0.38	0.38
query17	1.00	0.98	1.05
query18	0.20	0.20	0.20
query19	1.89	1.81	2.03
query20	0.01	0.01	0.02
query21	15.36	0.60	0.58
query22	2.81	2.13	2.82
query23	16.97	1.02	0.90
query24	2.75	1.07	1.60
query25	0.32	0.25	0.06
query26	0.39	0.15	0.14
query27	0.04	0.03	0.05
query28	10.32	1.09	1.08
query29	12.55	3.30	3.28
query30	0.24	0.07	0.06
query31	2.86	0.38	0.38
query32	3.27	0.46	0.47
query33	3.02	3.06	2.99
query34	16.64	4.47	4.42
query35	4.54	4.44	4.49
query36	0.67	0.49	0.48
query37	0.09	0.06	0.06
query38	0.05	0.04	0.03
query39	0.03	0.02	0.02
query40	0.17	0.13	0.12
query41	0.08	0.02	0.02
query42	0.04	0.02	0.02
query43	0.04	0.03	0.03
Total cold run time: 105.97 s
Total hot run time: 33.06 s

[github-actions]

PR approved by at least one committer and no changes requested.

[github-actions]

PR approved by anyone and no changes requested.

[dataroaring]

LGTM