[fix](cloud) should do before commit check in cloud mode

[sollhui]

In cloud mode, there is no before commit check when commit transaction. For routine load, job may be paused during sub task execution. If these transactions are committed, the problem is:

1. The progress seen by the user may not be accurate. It will consume data repeatedly if they create a new job consumption using this progress.
2. The user's modification offset operation may be overwritten by the offset of the transaction callback.

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[sollhui]

run buildall

[sollhui]

run buildall

[doris-robot]

TPC-H: Total hot run time: 38199 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 7da17d95960525d681d666dc35f1530c75c0b1e1, data reload: false

------ Round 1 ----------------------------------
q1	17783	4701	4327	4327
q2	2964	192	174	174
q3	11705	1102	1155	1102
q4	10440	783	783	783
q5	8048	2924	2845	2845
q6	223	142	139	139
q7	986	622	614	614
q8	9555	2054	2071	2054
q9	7127	6540	6520	6520
q10	7002	2244	2226	2226
q11	480	242	244	242
q12	398	225	220	220
q13	17762	3031	3016	3016
q14	282	242	250	242
q15	520	487	481	481
q16	481	402	387	387
q17	968	668	671	668
q18	7272	6897	6764	6764
q19	1390	1026	1059	1026
q20	684	337	338	337
q21	3810	3025	3031	3025
q22	1122	1007	1011	1007
Total cold run time: 111002 ms
Total hot run time: 38199 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4323	4296	4242	4242
q2	388	259	277	259
q3	2911	2660	2700	2660
q4	1907	1638	1635	1635
q5	5382	5392	5405	5392
q6	219	130	130	130
q7	2074	1745	1748	1745
q8	3195	3315	3317	3315
q9	8447	8448	8432	8432
q10	3470	3178	3163	3163
q11	607	498	515	498
q12	787	611	597	597
q13	11274	3019	3016	3016
q14	297	281	279	279
q15	531	473	472	472
q16	488	439	424	424
q17	1808	1502	1462	1462
q18	7747	7355	7464	7355
q19	1676	1669	1618	1618
q20	2043	1808	1844	1808
q21	5458	5240	5151	5151
q22	1107	1015	1034	1015
Total cold run time: 66139 ms
Total hot run time: 54668 ms

[doris-robot]

TPC-DS: Total hot run time: 186940 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 7da17d95960525d681d666dc35f1530c75c0b1e1, data reload: false

query1	908	362	359	359
query2	6451	1931	1886	1886
query3	6660	210	223	210
query4	34090	23064	23095	23064
query5	4203	508	503	503
query6	256	162	167	162
query7	4577	300	294	294
query8	248	213	208	208
query9	8656	2446	2477	2446
query10	462	275	280	275
query11	15726	14956	15048	14956
query12	153	100	99	99
query13	1620	392	373	373
query14	9710	6858	7094	6858
query15	243	167	170	167
query16	8101	444	461	444
query17	1591	572	546	546
query18	2118	293	291	291
query19	211	143	145	143
query20	119	111	108	108
query21	209	98	99	98
query22	4472	4120	4165	4120
query23	34610	33651	33566	33566
query24	11153	2826	2891	2826
query25	562	399	379	379
query26	1040	160	160	160
query27	2864	279	279	279
query28	7343	2028	2011	2011
query29	657	409	397	397
query30	295	151	145	145
query31	1008	773	754	754
query32	101	57	61	57
query33	754	295	296	295
query34	972	474	480	474
query35	865	724	766	724
query36	1097	921	952	921
query37	135	83	78	78
query38	3944	3901	3881	3881
query39	1455	1392	1372	1372
query40	274	116	115	115
query41	49	47	46	46
query42	110	100	98	98
query43	490	445	464	445
query44	1206	744	757	744
query45	201	168	167	167
query46	1101	768	750	750
query47	1891	1798	1794	1794
query48	365	303	293	293
query49	1098	419	415	415
query50	829	411	418	411
query51	7247	7133	7121	7121
query52	97	92	88	88
query53	254	186	180	180
query54	867	454	476	454
query55	79	84	75	75
query56	267	251	248	248
query57	1187	1096	1081	1081
query58	266	233	222	222
query59	3069	2697	2800	2697
query60	292	282	272	272
query61	99	97	98	97
query62	845	640	646	640
query63	228	187	188	187
query64	6192	2361	1801	1801
query65	3207	3160	3204	3160
query66	1351	332	339	332
query67	15565	15261	15255	15255
query68	3557	600	578	578
query69	402	285	268	268
query70	1130	1115	1126	1115
query71	353	284	283	283
query72	6138	2311	2077	2077
query73	748	322	325	322
query74	9224	8826	8733	8733
query75	3410	2690	2689	2689
query76	2526	1084	1028	1028
query77	491	342	315	315
query78	9787	9063	9072	9063
query79	1020	556	555	555
query80	684	493	500	493
query81	449	235	228	228
query82	285	142	144	142
query83	176	152	149	149
query84	238	81	78	78
query85	670	277	274	274
query86	314	294	293	293
query87	4419	4331	4221	4221
query88	3141	2352	2349	2349
query89	382	295	295	295
query90	1942	201	198	198
query91	128	97	99	97
query92	67	52	53	52
query93	1050	543	539	539
query94	799	304	288	288
query95	361	266	264	264
query96	582	277	269	269
query97	3189	3108	3100	3100
query98	216	212	201	201
query99	1472	1283	1267	1267
Total cold run time: 287715 ms
Total hot run time: 186940 ms

[doris-robot]

ClickBench: Total hot run time: 30.48 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 7da17d95960525d681d666dc35f1530c75c0b1e1, data reload: false

query1	0.04	0.05	0.04
query2	0.08	0.05	0.04
query3	0.22	0.05	0.05
query4	1.68	0.07	0.07
query5	0.51	0.50	0.50
query6	1.13	0.74	0.73
query7	0.01	0.01	0.01
query8	0.06	0.04	0.04
query9	0.54	0.47	0.48
query10	0.54	0.53	0.54
query11	0.15	0.11	0.12
query12	0.14	0.12	0.11
query13	0.61	0.58	0.59
query14	0.76	0.79	0.77
query15	0.83	0.82	0.82
query16	0.38	0.35	0.37
query17	0.96	0.99	0.97
query18	0.23	0.21	0.21
query19	1.99	1.79	1.76
query20	0.01	0.02	0.01
query21	15.41	0.67	0.68
query22	4.21	7.24	1.86
query23	18.26	1.28	1.20
query24	2.07	0.24	0.23
query25	0.16	0.08	0.08
query26	0.27	0.17	0.17
query27	0.08	0.08	0.08
query28	13.29	1.00	1.00
query29	12.65	3.42	3.34
query30	0.24	0.06	0.06
query31	2.88	0.39	0.39
query32	3.26	0.47	0.46
query33	2.97	2.98	3.00
query34	17.15	4.34	4.41
query35	4.40	4.37	4.42
query36	0.66	0.48	0.47
query37	0.19	0.16	0.16
query38	0.16	0.15	0.15
query39	0.05	0.04	0.03
query40	0.16	0.13	0.13
query41	0.09	0.05	0.05
query42	0.06	0.05	0.06
query43	0.05	0.05	0.04
Total cold run time: 109.59 s
Total hot run time: 30.48 s

[sollhui]

run buildall

[doris-robot]

TPC-H: Total hot run time: 38274 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 2d5668e94276e03234fcbb404729b291d1d7b150, data reload: false

------ Round 1 ----------------------------------
q1	17635	4554	4375	4375
q2	2013	185	179	179
q3	11900	995	1116	995
q4	10508	773	768	768
q5	7773	2833	2826	2826
q6	231	141	140	140
q7	1009	626	606	606
q8	9338	2108	2093	2093
q9	6987	6605	6629	6605
q10	6992	2195	2248	2195
q11	470	246	239	239
q12	405	232	232	232
q13	18837	3048	3014	3014
q14	280	228	241	228
q15	533	480	497	480
q16	492	403	396	396
q17	1006	733	712	712
q18	7352	7074	6819	6819
q19	1374	1150	1053	1053
q20	671	345	335	335
q21	3998	2983	2985	2983
q22	1166	1001	1021	1001
Total cold run time: 110970 ms
Total hot run time: 38274 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4438	4392	4330	4330
q2	393	284	290	284
q3	2934	2720	2682	2682
q4	1953	1730	1686	1686
q5	5668	5657	5750	5657
q6	235	136	162	136
q7	2256	1877	1870	1870
q8	3313	3459	3516	3459
q9	8893	8857	8826	8826
q10	3619	3405	3387	3387
q11	599	520	507	507
q12	823	650	644	644
q13	15903	3183	3244	3183
q14	314	288	289	288
q15	544	481	498	481
q16	487	467	440	440
q17	1868	1555	1587	1555
q18	8024	7738	7913	7738
q19	1757	1608	1583	1583
q20	2187	1934	1903	1903
q21	5829	5541	5539	5539
q22	1165	1035	1061	1035
Total cold run time: 73202 ms
Total hot run time: 57213 ms

[doris-robot]

TPC-DS: Total hot run time: 191756 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 2d5668e94276e03234fcbb404729b291d1d7b150, data reload: false

query1	1248	892	868	868
query2	6304	1886	1828	1828
query3	10743	4167	4024	4024
query4	60279	23914	23132	23132
query5	5349	529	508	508
query6	412	159	170	159
query7	5778	289	290	289
query8	287	210	221	210
query9	9003	2462	2441	2441
query10	499	279	281	279
query11	18040	14972	15419	14972
query12	161	104	111	104
query13	1548	398	386	386
query14	11197	7444	7388	7388
query15	267	175	174	174
query16	7578	468	498	468
query17	1092	566	565	565
query18	2061	303	300	300
query19	290	149	150	149
query20	121	114	109	109
query21	279	104	107	104
query22	4528	4455	4356	4356
query23	34232	33557	33409	33409
query24	5930	2874	2881	2874
query25	523	379	388	379
query26	699	160	158	158
query27	1792	286	280	280
query28	3795	2021	2006	2006
query29	686	407	413	407
query30	238	153	150	150
query31	919	780	756	756
query32	90	54	59	54
query33	455	290	281	281
query34	891	474	476	474
query35	849	730	723	723
query36	1046	925	952	925
query37	140	83	83	83
query38	3988	3850	3819	3819
query39	1468	1375	1393	1375
query40	194	113	119	113
query41	48	47	44	44
query42	119	95	94	94
query43	490	459	457	457
query44	1085	740	745	740
query45	202	167	164	164
query46	1078	739	733	733
query47	1896	1793	1775	1775
query48	381	293	296	293
query49	754	438	432	432
query50	843	417	413	413
query51	7207	7036	6955	6955
query52	103	88	89	88
query53	253	179	188	179
query54	570	457	452	452
query55	79	76	77	76
query56	277	294	274	274
query57	1209	1092	1069	1069
query58	224	252	241	241
query59	3024	2775	2753	2753
query60	300	264	280	264
query61	101	95	95	95
query62	747	651	654	651
query63	208	183	186	183
query64	4116	2238	1788	1788
query65	3218	3191	3190	3190
query66	671	338	331	331
query67	15394	15178	15153	15153
query68	2960	584	585	584
query69	403	286	284	284
query70	1184	1130	1130	1130
query71	380	282	284	282
query72	2613	2125	2049	2049
query73	704	322	324	322
query74	9201	8836	8871	8836
query75	3364	2712	2692	2692
query76	1358	975	1028	975
query77	541	344	330	330
query78	9673	9018	9028	9018
query79	1037	539	533	533
query80	685	517	507	507
query81	459	236	232	232
query82	290	145	139	139
query83	176	147	150	147
query84	258	84	86	84
query85	798	281	287	281
query86	298	312	279	279
query87	4523	4241	4356	4241
query88	3017	2361	2359	2359
query89	380	284	282	282
query90	1900	202	198	198
query91	122	100	96	96
query92	63	54	54	54
query93	1065	521	530	521
query94	711	310	303	303
query95	308	264	260	260
query96	592	266	271	266
query97	3224	3079	3041	3041
query98	219	204	192	192
query99	1499	1314	1273	1273
Total cold run time: 303601 ms
Total hot run time: 191756 ms

[doris-robot]

ClickBench: Total hot run time: 30.57 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 2d5668e94276e03234fcbb404729b291d1d7b150, data reload: false

query1	0.05	0.05	0.04
query2	0.08	0.04	0.04
query3	0.23	0.04	0.05
query4	1.68	0.07	0.07
query5	0.51	0.49	0.48
query6	1.14	0.73	0.72
query7	0.02	0.02	0.02
query8	0.05	0.05	0.05
query9	0.56	0.48	0.48
query10	0.53	0.53	0.54
query11	0.15	0.12	0.11
query12	0.15	0.12	0.12
query13	0.63	0.60	0.58
query14	0.77	0.79	0.79
query15	0.88	0.83	0.80
query16	0.37	0.37	0.37
query17	1.05	0.99	1.02
query18	0.21	0.20	0.19
query19	1.81	1.84	1.77
query20	0.01	0.01	0.02
query21	15.39	0.66	0.67
query22	3.99	7.96	1.76
query23	18.29	1.34	1.26
query24	2.07	0.22	0.24
query25	0.15	0.08	0.09
query26	0.27	0.17	0.18
query27	0.08	0.07	0.08
query28	13.27	1.03	1.00
query29	12.63	3.38	3.34
query30	0.24	0.06	0.06
query31	2.88	0.39	0.40
query32	3.26	0.48	0.48
query33	2.95	2.97	3.05
query34	16.86	4.43	4.37
query35	4.51	4.46	4.44
query36	0.66	0.50	0.48
query37	0.19	0.16	0.16
query38	0.16	0.15	0.16
query39	0.05	0.04	0.04
query40	0.16	0.13	0.13
query41	0.09	0.05	0.05
query42	0.05	0.05	0.05
query43	0.05	0.04	0.04
Total cold run time: 109.13 s
Total hot run time: 30.57 s

[liaoxin01]

LGTM

[github-actions]

PR approved by at least one committer and no changes requested.

[github-actions]

PR approved by anyone and no changes requested.

[XuJianxu]

LGTM