9ix3SrSSKrSSKrSSKJrJr SSKJr SSKJ r SSK J r SSK r SSK r SSKJr SSKJr SS KJr SS KJr SSKr"S S \5r\ R0R3S 5rSrSrSrSrS(SjrSr Sr!Sr"Sr#Sr$S)Sjr%S)Sjr&Sr'S)S\(4Sjjr)S*S\(S\(S\(4Sjjr*S*S\(S\(S\(4S jjr+S+S\(S!\(S"\,4S#jjr-S+S\(S!\(S"\,4S$jjr.S\(S%\/S"\,4S&jr0S\(S%\/S"\,4S'jr1g),uS 本文件实现了请求产线任务 Authors: suoyi@baidu.com Date: 2024/7/20 N)configlog)BceClientConfiguration)BceCredentials) BosClient)ThreadPoolExecutor)tqdm)urljoin)Pathc\rSrSrSrSrg)RequestDatasetExceptionz) exception for requesting dataset server N)__name__ __module__ __qualname____firstlineno____doc____static_attributes__r]/var/www/html/land-doc-ocr/venv/lib/python3.13/site-packages/aistudio_sdk/requests/dataset.pyr r s  rr z~/.download_max_workersc[[S5n[UR5R 55sSSS5 $!,(df  g=f![ an[ sSnA$SnAff=f)zmax download workerrN)openMAX_WORKERS_FILEintreadstrip ExceptionDEFAULT_MAX_WORKERS)fes rget_max_workersr$(sJ# "C (Aqvvx~~'() ( ( #""#s9A'A A A AA A.A)#A.)A.cSU0n[R"XS9nUR5 UR5R S05nUR S/5nU$)z file info datasetId)dataresultfileIds)requestspostraise_for_statusjsonget)urlr&r'responser(file_idss rpost_request_get_file_idsr21sS  #D}}S,H  ]]_ 2 .Fzz)R(H Orc[RR[R5(dg[ [RS5nUR 5R5sSSS5 $!,(df  g=f)z load Nr)ospathexistsr TOKEN_FILErrr)r"s r load_tokenr8;sN 77>>&++ , , f %vvx~~ & % %s A66 BcU(aUnO[R"SSS9nSUS.nU(aURU5 U$)u 填充header AISTUDIO_ACCESS_TOKENdefaultapplication/json) Content-Type Authorization)r4getenvupdate)paramstokenauthheaderss r _header_fillrGEsE ))3R@A*Gv Nrc(SUSUS3n[X5n[5n[U5 Ub [US9nO [5n[R "XFS9nUR 5 [UR55 UR5SS$)zget url/llm/files/datasets/z/file/z /download)rD)rFr(fileUrl)r r8printrGr*r.r,r-)hostr&fileIdr5r/rDrFr0s r get_file_urlrNVs !)F6() DD $ C LE %L U+.||C1H  (--/ ==?8 $Y //ri c\U(dg[R"SU5nU(aUS$S$)filenameNzfilename="?([^";]+)"?r)refindall) cd_headerfnames rparse_filename_from_cdrUhs*  JJ. :E58&$&rcZ[R"USS9nUR5 [URR SS55nURR SS5n[ U5nU(d1[RRURS5S5nX$4$)u获取文件大小和文件名T)allow_redirectszContent-LengthrzContent-Dispositionr;?) r*headr,rrFr.rUr4r5basenamesplit)file_urlr file_sizecdrPs r get_file_infor_ps h5AAIIMM"2A67I ,b 1B%b)H 77##HNN3$7$:;  rcSSUSU30n[R"XSS9nUR5 [US5nUR U5 UR SS9HBn U (dM UR U 5 U UR[U 55 S S S 5 MD S S S 5 g !,(df  M^=f!,(df  g =f) downloadRangezbytes=-T)rFstreamzrb+i ) chunk_sizeN) r*r.r,rseek iter_contentwriterBlen) r\startend local_pathpbarlockrFr0r"chunks rdownload_chunkrp|s&q./G||HdCH  j% A u **d*;EuKKE +T< ! T ! s))B>)B><B, B>, B; 6B>> C c Uc [5n[U5up4[RR X5n[R "USS9 [RR U5(d&[US5nURU5 SSS5 /n[SU[5H0nUn [U[-S- US- 5n URX45 M2 SSK Jn [USSUS 9n U "5n [!US 9n/nUHup[RR U5(a@[RR#U5nUU S-:aU R%X- S-5 MiURUR'[(X XX55 M UHnUR+5 M SSS5 U R-5 g!,(df  GNC=f!,(df  N1=f) z multi threadNTexist_okwbr)LockB)totalunit unit_scaledesc max_workers)r$r_r4r5joinmakedirsr6rtruncaterange CHUNK_SIZEminappend threadingrvr rgetsizerBsubmitrpr(close)r\ local_dirr}r]rPrlr"chunksirjrkrvrmrnexecutorfutures current_sizes rdownload_file_multithreadedrs%' (1Ii2JKK D) 77>>* % % *d #q JJy !$F 1i ,!j.1$i!m4 ul#-  icd JD 6D  4 JEww~~j))!wwz: 37*KK a0 NNRV] !A HHJ 5 JJL;$ # 5 4s?G B2G G G-cUc[R"S5n[R"S[RS9nUS3n[ X2X5 g)z old datasetNHOMESTUDIO_GIT_HOSTr<z/studio/dataset/detail)r4rAr#STUDIO_MODEL_API_URL_PREFIX_DEFAULTdownload_all_files)r&rrLr/s rdownload_datasetsrsDIIf% 99&0Z0Z [D F( )Cs)7rc `[X5n[R"USS9 /n[R"5n[ SS9nUH5n[ XU5n URUR[XU55 M7 SSS5 UHn U R5 M g!,(df  N(=f)z all Trrr|N) r2r4rrrvrrNrrrr() r/rLr&localDirr1tasks pbar_lockrrMr\tasks rrrs)8HKK4( E I  *hF#DVr@r? bucketName)rFrCzFailed to get bos acl: )rrr*r. status_coder-r text)rD bucket_namer/rFrCr0s rbos_acl_dataset_filersy0 7 7 8 GC!7*GF*|||C@Hs"}}%(? &OPPrfile_origin_namefile_keyc[S5Hn[XX#U5nUs $ g![a>n[R"SUS-S35 [R"U5 SnAM[SnAff=f)u7 上传文件到指定的bucket，并返回文件ID。 uadd file 失败，重试第ru次N)radd_filer rerror)rDrrrfile_absrfile_idr#s radd_file_with_retryrsc1X uxXGN'  II3AaC5< = IIaLL $ A,3A''A,c:[R"S5 [RS3nUSS.nUUUUS.n[R "XVUS9nUR S:XaUR5RS5S :XaI[R"S 5 UR5n U RS 05RS 5n U $[R"S 5 [R"SUSUR35 g[SUR35e)u) 上传文件到指定的bucket，并返回文件ID。 Args: token (str): 认证token。 file_origin_name (str): 文件的原始名称。 file_key (str): 文件在存储中的键值。 bucket_name (str, optional): 如果提供，则上传到此bucket，否则使用默认bucket。 file_abs (str, optional): 文件的绝对路径，可选。 Returns: dict: 包含操作结果的字典，其中包括logId, errorCode, errorMsg, timestamp和result（包含fileId）。 Raises: HTTPError: 如果请求失败，抛出异常。 z add file..z/llm/files/addfiler>r)fileOriginNamefileKeyrfileAbsrFr-r errorCoderadd file successr(rMu 落库失败add file failed, response:  NzFailed to add file: ) rdebugrrr*r+rr-r.rrr ) rDrrrrr/rFr'r0r(rs rrrs"IIl  7 7 88J KC!7*G +!  D }}S=Hs" ==?  { +q 0 II( *]]_Fjj2.228n[R"SUS-S35 [R"U5 SnAM[SnAff=f)u7 创建一个新的数据集，并返回数据集ID。 ru!create dataset 失败，重试第rurN)rcreate_datasetr rr) rDrr1 dataset_type dataset_absdataset_licenser dataset_idr#s rcreate_dataset_with_retryr1se 1X 'XU`rJ '  II9!A#cB C IIaLL rcP[RS3nUSS.nUUUUUS.n[R"XgUS9n U RS:Xa[ R "S5 U R5RS5S :Xa3U R5n U RS 05RS 5n U $[ R"S U R5RS 535 [ R "SUSU R35 g[SU R35e)u8 创建一个新的数据集，并返回数据集ID。 Args: token (str): 认证token。 dataset_name (str): 数据集的名称。 file_ids (list of int): 包含在数据集中的文件ID列表。 dataset_type (int, optional): 数据集的类型，1 表示私有，2 表示公开。默认为0（私有）。 dataset_abs (str, optional): 数据集的简介，可选。 Returns: dict: 包含操作结果的字典，其中包括logId, errorCode, errorMsg, timestamp和result（包含datasetId）。 None: 如果请求失败，返回None。 z/llm/files/datasetsr>r) datasetName datasetAbsr) datasetType protocolIdrrrrrr(r&u数据集创建失败:errorMsgrrNzFailed to create dataset: ) rrr*r+rrrr-r.rrr ) rDrr1rrrr/rFr'r0r(rs rrr?s  7 7 88K LC!7*G $!#%  D}}S=Hs" $& ==?  { +q 0]]_FHb155kBJ  II.x}}/B/B:/N.OP Q II3D68==/J K%(B8==/&RSSrrc[S5Hn[XU5nUs $ g![a>n[R"SUS-S35 [R"U5 SnAMZSnAff=f)u) 向指定的数据集中添加文件。 ru&add file to dataset 失败，重试第rurN)radd_files_to_datasetr rr)rDrr1rr(r#s radd_files_to_dataset_with_retryrnsa1X )%XFFM'  II>qse3G H IIaLL s # A+3A&&A+cJ[RSUS3nUSS.nSU0n[R"X4US9nURS:XaUR 5R S5S :XaG[R"S US 35 [R"S US US 35 UR 5$[R"SUR 5R S535 [R"SUSUR35 g[SUR35e)u_ 向指定的数据集中添加文件。 Args: token (str): 认证token。 dataset_id (int): 数据集的ID。 file_ids (list of int): 需要添加到数据集的文件ID列表。 Returns: dict: 包含操作结果的字典，其中包括logId, errorCode, errorMsg, timestamp和result。 None: 如果请求失败，返回None。 rIz/addfiler>rr)rrrru 向数据集[u]中添加文件成功!u]中添加文件成功[]u添加文件失败: rrrNz Failed to add files to dataset: ) rrr*r+rr-r.rinforrrr )rDrr1r/rFr'r0s rrrzs 7 7 88LZLX` aC!7*G 8 D}}S=Hs" ==?  { +q 0 HH}ZL0GH I II j\1H RST U==? " II,X]]_-@-@-L,MN O II3D68==/J K&(H&XYYr)Nr;)N)NN)rur;ru)2rr-r* aistudio_sdkrr!baidubce.bce_client_configurationrbaidubce.auth.bce_credentialsr baidubce.services.bos.bos_clientrr4rconcurrent.futuresrr urllib.parser pathlibr rQr r r5 expanduserrr!r$r2r8rGrNrrUr_rprrrstrrrrlistrrrrrrrrrsd  $D86 1   i 77%%&?@# " 0 '  ,)X8&%Q%QN s c S *NC*N3*N#*NZOP S  t -T#-TS-TD-T^ 3 C 4 $Z$Z$Z$Zr