Sh<=ddlmZddlmZddlZddlZddlZddlZddl Z ddl m Z ddl mZejej de edZd Zd Zdd efd Zd ZddZdZdZdZddZddZedk(rwejej<eded e djCZ"e"jGdvr edye"s5ee"Z$ede$dIy) ) QdrantClient)modelsN) load_dotenv)SentenceTransformerz)%(asctime)s - %(levelname)s - %(message)s)levelformatz%paraphrase-multilingual-mpnet-base-v2ic$d}d|dd}ddddd |dgd d } tj||| }|j|jd dddS#tj$r}t j d|d}~wwxYw)uCGọi API OpenRouter để xử lý prompt với mô hình Llama-3.z-https://openrouter.ai/api/v1/chat/completionszBearer zapplication/json) Authorizationz Content-Typezmeta-llama/llama-3-8b-instructsystemuBạn là trợ lý AI chuyên tư vấn về các thông tin của Trường Đại học Y Dược Cần Thơ, trả lời bằng tiếng Việt tối đa 40 từ.)rolecontentuser皙?)modelmessages temperature)headersjsonchoicesrmessager u Lỗi khi gọi OpenRouter API: N)requestspostraise_for_statusrRequestExceptionloggingerrorlenquestionsplitmincall_openrouter_llama3warningjoininfo Exception) promptapi_keyurlrdataresponsee word_count max_wordsrefinedrefined_word_counts /RAG/ai_agent.pyr!r!s 9C"7),*G 2+R S /   D==gDA!!#}}y)!,Y7 BB  $ $ 8<= sAAB1B  Bcollection_namect|dd5}tj|}dddjdgD]*}|jd|k(s|jdgcSgS#1swYJxYw)uHTải danh sách keyword tương ứng với collection từ config.jsonrutf-8encodingN collectionsr1keywords)openrloadget)r1 config_pathfconfig collections r0load_keywords_from_configr@Asj k3 1Q1 2jj3 >>+ , ?>>*b1 14 I 2 1s A..A7ctj|tj|}}ttj||tjj |tjj |zz SN)nparrayfloatdotlinalgnorm)vec1vec2s r0cosine_similarityrKKsU$$$D d#ryy~~d';biinnT>R'RS TTc |Dcgc] }|| }}|Dcgc]}t||c} ttt  fddd|}|Dcgc] }|| |fc}Scc}wcc}wcc}w)u4Tìm từ khóa gần nhất với vector câu hỏic|SrB)i similaritiess r0z&find_closest_keyword..Ts arLT)keyreverseN)rKsortedranger) query_vectorr8embedding_functop_kkwkeyword_vectorsvec top_indicesrPrQs @r0find_closest_keywordr^Ps4<=Hb~b)HO=DSTOS%lC8OTLs<017PZ^_`fafgK4? @KqXa[,q/ *K @@>T @sA/A4A9c |j}||jDcgc]}|jc}vre|j|t j t tjjtjd|dt dy |j|}|jjjjt k7r=t!d|jjjjdt tjd|d y cc}w#t"$r}tj$d |d }~wwxYw) u=Khởi tạo collection trong Qdrant nếu chưa tồn tại.)sizedistance)r1vectors_configu[RAG] Đã tạo collection 'u' với vector size .u.Collection tồn tại nhưng có vector size u khác với yêu cầu z[RAG] Collection 'u0' đã tồn tại với vector size phù hợp.u#Lỗi khi khởi tạo collection: N)get_collectionsr7namecreate_collection qdrant_models VectorParams VECTOR_SIZEDistanceCOSINErr$get_collectionr>paramsvectorsr` ValueErrorr%r)clientr1r7ccollection_infor+s r0initialize_qdrant_collectionrsXsS,,. ;3J3J"K3Ja1663J"K K  $ $ /,99$*33::  %  LL88II]^i]jjkl m$33ODO%%,,4499[H #QRaRhRhRoRoRwRwR|R|Q}~VWbVc"dee LL-o->>no p#L  ;A3?@ s/D;D6A(D;BD;6D;; E"EE"c|sy|jd}ttj|}dj |j }gd}|D]}|j |d}|r|S|S)uALàm sạch văn bản: loại bỏ lặp lại và chuẩn hóa.. )uWeb - Thẻ Span: uWeb - Đoạn văn: uWeb - Danh sách: uWeb - Tiêu đề: )rlistdictfromkeysr#stripreplace)text sentencesunique_sentences cleaned_textcleaning_patternspatterns r0 clean_textrosy  4 IDMM)4599-.446L%#++GR8 %(<1T1rLc tj|j}tjdt ||S#t $r}tjd|d}~wwxYw)uCTạo embedding cho văn bản sử dụng model đã khởi tạo.zAG] Embedding dimension: uLỗi khi tạo embedding: N)_embedding_modelencodetolistrr$rr%r)r|embr+s r0 get_embeddingrsd%%d+224 23s8*=>  3A378 sAA A/A**A/c^|sddiStjjdd}tjjd}tjjd}| td t d d d 5}t j |}ddd jdg}|rt|ts td|d}|d}|d} tjd| |rt!||} n t!|} t#| |ddlm}  | j)|d| j*tjd| j1|} tjd|d| j0 |j3}|j5d!vry"tjd#|t7|}t9|}dd$lm}m}m}d%}d}|rtA||t6d&'}|d\}}tjd(|d)|d*d+|d,k\r4d-}||d||./g0}tjd1|n0d-}||d||./g0}tjd2 | jC|||r|ndd3d-d%4}|s-|r+tj.d5| jC||d6d-d%7}|D]}tEd9|jFd:|jHd*tEd;|jJjdtEd?|jJjdtEdA|jJjdd>|s@tj.dB|dC tM||}tjdDdE|dFS|r|}n|Dcgc]}|jHd,k\s|}}|s}dK}|D]k}tQ|jJjdd>} tS|tS| z|kr |dL| zz }K|jU|j3| }m|r|jU|j3tW|D!"cgc]\}!}"|!d&zdM|"}#}!}"dNjY|#}$| dO|dP|$dQ}% tM|%|}|S#1swYxYw#t$rtjd t j$rtjdwxYw#ttf$r} tjd| d} ~ wwxYw#t,$r#} tj.d| Yd} ~ ~d} ~ wwxYw#t,$r} tjd | d} ~ wwxYw#t,$r%} tjd8| g}Yd} ~ Td} ~ wwxYw#t,$r2} tjdG| ddHtO| icYd} ~ Sd} ~ wwxYwcc}w#t,$r2} tjdG| ddHtO| icYd} ~ Sd} ~ wwxYwcc}"}!w#t,$r"} tjdR| Yd} ~ ySd} ~ wwxYw#t,$r4} tjdT| d-UddVtO| icYd} ~ Sd} ~ wwxYw)Wu9Xử lý câu hỏi sử dụng RAG với Qdrant và LLM.rzInput text is required. QDRANT_URLzhttp://localhost:6333OPENROUTER_API_KEYQDRANT_API_KEYNu:OPENROUTER_API_KEY không được cấu hình trong .env! config.jsonr3r4r5u$Không tìm thấy file config.json!u6File config.json có định dạng không hợp lệ!r7u;Cấu trúc collections trong config.json không hợp lệrr1r&u*Cấu hình collection không hợp lệ: u[RAG] Sử dụng collection: )r(r')r()PayloadSchemaTyper )r1 field_name field_schemau)[RAG] Đã bật text index cho 'content'uB[RAG] Không thể tạo text index (có thể đã tồn tại): )r1u.[RAG] Số lượng điểm trong collection 'z': uLỗi khi kết nối Qdrant: )hellohiu xin chàouchàou chào bạnuXin chào! Tôi là trợ lý AI của Trường Đại học Y Dược Cần Thơ. Tôi có thể giúp bạn tìm kiếm thông tin về trường đại học này.u)[RAG] Câu hỏi dùng để truy vấn: )FilterFieldCondition MatchTextF)rYu[RAG] Từ khóa gần nhất: z (score=z.3f)rT)r|)rSmatch)mustu0[RAG] Sử dụng filter MatchText cho keyword: uZ[RAG] Không tìm thấy keyword phù hợp, dùng MatchText trực tiếp từ câu hỏi)r1rW query_filterlimit with_payload with_vectorsuP[RAG] Không có kết quả với filter, fallback sang truy vấn vector gốc)r1rWrrru#[RAG] Lỗi khi truy vấn Qdrant: zID: z , Score: zTitle:metadatatitleruzSection:sectionzContent:u;[RAG] Qdrant trả về kết quả rỗng cho collection ''uH[RAG] Đã gọi LLM trực tiếp do không có kết quả từ Qdrantu*Không tìm thấy tài liệu liên quan.)r"answeru#Lỗi khi gọi LLM trực tiếp: z LLM error: u?[RAG] Không có tài liệu nào đạt ngưỡng score >= 0.2uS[RAG] Đã gọi LLM trực tiếp do không có tài liệu đạt ngưỡng scorei rv u Câu hỏi của quý khách: u! Thông tin có sẵn: u Trả lời:u'Lỗi khi gọi LLM để trả lời: u@Xin lỗi, tôi gặp lỗi khi xử lý câu hỏi của bạn.uLỗi trong quá trình RAG: )exc_infoz RAG error: )-osenvironr;ror9rr:FileNotFoundErrorrrJSONDecodeError isinstancerwKeyError IndexErrorr$rrsqdrant_client.http.modelsrcreate_payload_indexTEXTr%r"countrzlowerrr@rrrr^searchprintidscorepayloadr!strrrappend enumerater#)& input_text qdrant_urlr'qdrant_api_keyr=r>r7collection_configr1prompt_templater+rpr points_count refined_inputrWr8rrr use_filterrclosest_keywords best_keyword best_score search_resultpointrfiltered_points documentstemp_doc max_lengthr rPdoc context_linescontextr&s& r0 RAG_agentrs2 233 .EFJjjnn12GZZ^^$45NUVV -w 71YYq\F8 jj3 *[$"?Z[ ['N+,=>+H5  LL1/1BCD !j.IF!j1F$V_=? f  ' ' /$.33 (  LLD E||O|D  EoEVVYZfZlZlYmno C1"((*    $X X} @PQ$]3 ,_=OO  3L(Mabc '7': $L* LL:<.Q[\_P``ab cS ! %& )"+">   OP\~^_! %& )"+"?   y{ "MM /)-7\T!" *M!Z rs & $3!-!%!& !.! #E D )EKK+<= > (EMM--j"=AA'2N O *emm// B?CCIrR S *emm// 2> ? #  OOYZiYjjkl m 9/ wG gh#O[abb +O2?V-5;;RUCUu-OV OO] ^ 9/ wG rs#O[abb   $E !2!29b!ABG8}s7|+j8C'M)  !12" %    X^^- .+4I*> *>3qse2cUO*>  ))M*%&&H U 'y) V+FGV7.W&3V07W"[/4C[/A X C[/9%X: [/(Y8=Y8[/%Y=B%[/&Z;:[/ [(T2-T55AU=V-V((V-0 W9WWWW X(XX X7X2,[/2X77[/: Y5'Y0*Y5+[/0Y55[/= Z8'Z3-Z8.[/3Z88 [/ [, ['"[/'[,,[// \,8)\'!\,'\,c t|}|S#t$r+}tjdt |Yd}~yd}~wwxYw)u Xử lý văn bản đầu vào bằng AI Agent với Qdrant. Args: input_text (str): Văn bản đầu vào cần xử lý Returns: Kết quả xử lý từ AI Agent hoặc thông báo lỗi u+Lỗi trong quá trình xử lý AI Agent: N)rr%rrr)rr*r+s r0process_with_ai_agentrSsAZ(  CCF8LMs  A!>A__main__)rz=== AI Agent Qdrant CLI ===u,Nhập câu hỏi (gõ 'exit' để thoát):uBạn: )exitquitqu Kết thúc.zAI: r)r)rrB)% qdrant_clientrqdrant_client.httprrgrrrrnumpyrCdotenvrsentence_transformersr basicConfigINFOrrir!rr@rKr^rsrrrr__name__DEBUGrinputrz user_inputrresultrOrLr0rs&6  5',,/Z[ ''NO *XsU A.20@1D  zGgmm, '( 89 9%++-    !6 6 . !  &z2 VHB   rL