]> git-server-git.apps.pok.os.sepia.ceph.com Git - s3-tests.git/commitdiff
Merge branch 'master' into using_get_bucket_name 513/head
authorGal Salomon <gal.salomon@gmail.com>
Thu, 8 Jun 2023 07:19:37 +0000 (10:19 +0300)
committerGitHub <noreply@github.com>
Thu, 8 Jun 2023 07:19:37 +0000 (10:19 +0300)
1  2 
s3tests_boto3/functional/test_s3select.py

index 5c180733f02f9349961371c749b2cfd18cb1a7a8,bda6ff77b411e188ea620b7146f6efed1d620837..1ce4fa3ea5a6349a996187d70bbaeda04d8deec0
@@@ -402,7 -401,7 +402,8 @@@ def test_count_operation()
  @pytest.mark.s3select
  def test_count_json_operation():
      json_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      num_of_rows = 1
      obj_to_load = create_random_json_object(num_of_rows,10)
      upload_object(bucket_name,json_obj_name,obj_to_load)
@@@ -424,7 -423,7 +425,8 @@@ def test_json_column_sum_min_max()
      json_obj = csv_to_json(csv_obj);
  
      json_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,json_obj_name,json_obj)
      
      json_obj_name_2 = get_random_string()
@@@ -490,7 -489,7 +492,8 @@@ def test_json_nullif_expressions()
      json_obj = create_random_json_object(10000,10)
  
      json_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,json_obj_name,json_obj)
  
      res_s3select_nullif = remove_xml_tags_from_result(  run_s3select_json(bucket_name,json_obj_name,"select count(0) from s3object[*].root where nullif(_1.c1,_1.c2) is null ;")  ).replace("\n","")
@@@ -529,7 -528,7 +532,8 @@@ def test_column_sum_min_max()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++    
      upload_object(bucket_name,csv_obj_name,csv_obj)
      
      csv_obj_name_2 = get_random_string()
@@@ -595,7 -594,7 +599,8 @@@ def test_nullif_expressions()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_nullif = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,"select count(0) from s3object where nullif(_1,_2) is null ;")  ).replace("\n","")
@@@ -650,7 -649,7 +655,8 @@@ def test_nulliftrue_expressions()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_nullif = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,"select count(0) from s3object where (nullif(_1,_2) is null) = true ;")  ).replace("\n","")
@@@ -677,7 -676,7 +683,8 @@@ def test_is_not_null_expressions()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_null = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,"select count(*) from s3object where nullif(_1,_2) is not null ;")  ).replace("\n","")
@@@ -698,7 -697,7 +705,8 @@@ def test_lowerupper_expressions()
      csv_obj = create_random_csv_object(1,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select lower("AB12cd$$") from s3object ;')  ).replace("\n","")
@@@ -716,7 -715,7 +724,8 @@@ def test_in_expressions()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_in = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select int(_1) from s3object where int(_1) in(1);')).replace("\n","")
@@@ -785,7 -784,7 +794,8 @@@ def test_true_false_in_expressions()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_in = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select int(_1) from s3object where (int(_1) in(1)) = true;')).replace("\n","")
@@@ -830,7 -829,7 +840,8 @@@ def test_like_expressions()
      csv_obj = create_random_csv_object_string(1000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_like = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select count(*) from s3object where _1 like "%aeio%";')).replace("\n","")
@@@ -917,7 -916,7 +928,8 @@@ def test_truefalselike_expressions()
      csv_obj = create_random_csv_object_string(1000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_like = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select count(*) from s3object where (_1 like "%aeio%") = true;')).replace("\n","")
@@@ -962,7 -961,7 +974,8 @@@ def test_nullif_expressions()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_nullif = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,"select count(0) from stdin where nullif(_1,_2) is null ;")  ).replace("\n","")
@@@ -989,7 -988,7 +1002,8 @@@ def test_lowerupper_expressions()
      csv_obj = create_random_csv_object(1,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select lower("AB12cd$$") from stdin ;')  ).replace("\n","")
@@@ -1007,7 -1006,7 +1021,8 @@@ def test_in_expressions()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_in = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select int(_1) from stdin where int(_1) in(1);')).replace("\n","")
@@@ -1046,7 -1045,7 +1061,8 @@@ def test_like_expressions()
      csv_obj = create_random_csv_object_string(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_in = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select count(*) from stdin where _1 like "%aeio%";')).replace("\n","")
@@@ -1093,7 -1092,7 +1109,8 @@@ def test_complex_expressions()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,"select min(int(_1)),max(int(_2)),min(int(_3))+1 from s3object;")).replace("\n","")
@@@ -1129,7 -1128,7 +1146,8 @@@ def test_alias()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_alias = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,"select int(_1) as a1, int(_2) as a2 , (a1+a2) as a3 from s3object where a3>100 and a3<300;")  ).replace(",","")
@@@ -1148,7 -1147,7 +1166,8 @@@ def test_alias_cyclic_refernce()
      csv_obj = create_random_csv_object(number_of_rows,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_alias = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,"select int(_1) as a1,int(_2) as a2, a1+a4 as a3, a5+a1 as a4, int(_3)+a3 as a5 from s3object;")  )
@@@ -1333,7 -1332,7 +1352,8 @@@ def test_when_then_else_expressions()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select case when cast(_1 as int)>100 and cast(_1 as int)<200 then "(100-200)" when cast(_1 as int)>200 and cast(_1 as int)<300 then "(200-300)" else "NONE" end from s3object;')  ).replace("\n","")
@@@ -1362,7 -1361,7 +1382,8 @@@ def test_coalesce_expressions()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select count(*) from s3object where char_length(_3)>2 and char_length(_4)>2 and cast(substring(_3,1,2) as int) = cast(substring(_4,1,2) as int);')  ).replace("\n","")  
@@@ -1384,7 -1383,7 +1405,8 @@@ def test_cast_expressions()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select count(*) from s3object where cast(_3 as int)>999;')  ).replace("\n","")  
@@@ -1423,7 -1422,7 +1445,8 @@@ def test_trim_expressions()
      csv_obj = create_random_csv_object_trim(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_trim = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select count(*) from s3object where trim(_1) = "aeiou";')).replace("\n","")
@@@ -1462,7 -1461,7 +1485,8 @@@ def test_truefalse_trim_expressions()
      csv_obj = create_random_csv_object_trim(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_trim = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select count(*) from s3object where trim(_1) = "aeiou" = true;')).replace("\n","")
@@@ -1501,7 -1500,7 +1525,8 @@@ def test_escape_expressions()
      csv_obj = create_random_csv_object_escape(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_escape = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select count(*) from s3object where _1 like "%_ar" escape "%";')).replace("\n","")
@@@ -1522,7 -1521,7 +1547,8 @@@ def test_case_value_expressions()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_case = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select case cast(_1 as int) when cast(_2 as int) then "case_1_1" else "case_2_2" end from s3object;')).replace("\n","")
@@@ -1537,7 -1536,7 +1563,8 @@@ def test_bool_cast_expressions()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_cast = remove_xml_tags_from_result(  run_s3select(bucket_name,csv_obj_name,'select count(*) from s3object where cast(int(_1) as bool) = true ;')).replace("\n","")
@@@ -1552,7 -1551,7 +1579,8 @@@ def test_progress_expressions()
      csv_obj = create_random_csv_object(1000000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      obj_size = len(csv_obj.encode('utf-8'))
@@@ -1585,7 -1584,7 +1613,8 @@@ def test_output_serial_expressions()
      csv_obj = create_random_csv_object(10000,10)
  
      csv_obj_name = get_random_string()
 -    bucket_name = "test"
 +    bucket_name = get_new_bucket_name()
++
      upload_object(bucket_name,csv_obj_name,csv_obj)
  
      res_s3select_1 = remove_xml_tags_from_result(  run_s3select_output(bucket_name,csv_obj_name,"select _1, _2 from s3object where nullif(_1,_2) is null ;", "ALWAYS")  ).replace("\n",",").replace(",","")