o ©S˜h<=ã@s@ddlmZddlmZddlZddlZddlZddlZddl Z ddl m Z ddl mZejejdde ƒedƒZd Zd d „Zd)d efdd„Zdd„Zd*dd„Zdd„Zdd„Zdd„Zd+dd„Zd+dd„Zedkržejejd ed!ƒed"ƒ e d$ƒ !¡Z"e" #¡d%vrŽed&ƒdSe"s‘q{ee"ƒZ$ed'e$›d(ƒq|dS),é)Ú QdrantClient)ÚmodelsN)Ú load_dotenv)ÚSentenceTransformerz)%(asctime)s - %(levelname)s - %(message)s)ÚlevelÚformatz%paraphrase-multilingual-mpnet-base-v2ic Csd}d|›ddœ}ddddœd |dœgd d œ}ztj|||d }| ¡| ¡d dddWStjyG}z t d|›¡‚d}~ww)uCGá»i API OpenRouter để xá»­ lý prompt vá»›i mô hình Llama-3.z-https://openrouter.ai/api/v1/chat/completionszBearer zapplication/json)Ú Authorizationz Content-Typezmeta-llama/llama-3-8b-instructÚsystemu¥Bạn là trợ lý AI chuyên tÆ° vấn vá» các thông tin của TrÆ°á»ng Äại há»c Y Dược Cần ThÆ¡, trả lá»i bằng tiếng Việt tối Ä‘a 40 từ.)ZroleÚcontentÚuserçš™™™™™É?)ZmodelÚmessagesZ temperature)ÚheadersÚjsonÚchoicesrÚmessager u Lá»—i khi gá»i OpenRouter API: N)ÚrequestsÚpostZraise_for_statusrZRequestExceptionÚloggingÚerrorÚlenZquestionÚsplitÚminÚcall_openrouter_llama3ÚwarningÚjoinÚinfoÚ Exception) ÚpromptÚapi_keyÚurlrÚdataÚresponseÚeZ word_countZ max_wordsZrefinedZrefined_word_count©r$ú/RAG/ai_agent.pyrs&þþú€þrú config.jsonÚcollection_namecCslt|ddd }t |¡}Wdƒn1swY| dg¡D]}| d¡|kr3| dg¡Sq"gS)uHTải danh sách keyword tÆ°Æ¡ng ứng vá»›i collection từ config.jsonÚrúutf-8©ÚencodingNÚ collectionsr'Úkeywords)ÚopenrÚloadÚget)r'Z config_pathÚfÚconfigZ collectionr$r$r%Úload_keywords_from_configAs ÿÿr3cCs>t |¡t |¡}}tt ||¡tj |¡tj |¡ƒS©N)ÚnpÚarrayÚfloatÚdotZlinalgÚnorm)Zvec1Zvec2r$r$r%Úcosine_similarityKs(r:écs^‡fdd„ˆDƒ}‡fdd„|Dƒ‰tttˆƒƒ‡fdd„ddd|…}‡‡fd d„|DƒS) u4Tìm từ khóa gần nhất vá»›i vector câu há»icsg|]}ˆ|ƒ‘qSr$r$)Ú.0Úkw)Úembedding_funcr$r%Ú Rsz(find_closest_keyword..csg|]}tˆ|ƒ‘qSr$)r:)r<Zvec)Ú query_vectorr$r%r?Sscsˆ|Sr4r$)Úi)Ú similaritiesr$r%ÚTsz&find_closest_keyword..T)ÚkeyÚreverseNcsg|] }ˆ|ˆ|f‘qSr$r$)r<rA)r-rBr$r%r?Us)ÚsortedÚranger)r@r-r>Útop_kZkeyword_vectorsZ top_indicesr$)r>r-r@rBr%Úfind_closest_keywordPs&rIc CsÐzR| ¡}|dd„|jDƒvr,|j|tjttjjddt  d|›dt›d¡Wd S|  |¡}|j j j jtkrGtd|j j j j›d t›ƒ‚t  d |›d ¡Wd Styg}z t d |›¡‚d }~ww)u=Khởi tạo collection trong Qdrant nếu chÆ°a tồn tại.cSsg|]}|j‘qSr$)Úname)r<Úcr$r$r%r?\sz0initialize_qdrant_collection..)ÚsizeZdistance)r'Zvectors_configu[RAG] Äã tạo collection 'u' vá»›i vector size Ú.u.Collection tồn tại nhÆ°ng có vector size u khác vá»›i yêu cầu z[RAG] Collection 'u0' đã tồn tại vá»›i vector size phù hợp.u#Lá»—i khi khởi tạo collection: N)Zget_collectionsr,Zcreate_collectionÚ qdrant_modelsZ VectorParamsÚ VECTOR_SIZEZDistanceZCOSINErrZget_collectionr2ÚparamsZvectorsrLÚ ValueErrorrr)Úclientr'r,Zcollection_infor#r$r$r%Úinitialize_qdrant_collectionXs(þþ €þrScCsX|sdS| d¡}tt |¡ƒ}d |¡ ¡}gd¢}|D]}| |d¡}q|r*|S|S)uALàm sạch văn bản: loại bá» lặp lại và chuẩn hóa.Úú. )uWeb - Thẻ Span: uWeb - Äoạn văn: uWeb - Danh sách: uWeb - Tiêu Ä‘á»: )rÚlistÚdictÚfromkeysrÚstripÚreplace)ÚtextZ sentencesZunique_sentencesZ cleaned_textZcleaning_patternsÚpatternr$r$r%Ú clean_textos  r]c CsTzt |¡ ¡}t dt|ƒ›¡|WSty)}z t d|›¡‚d}~ww)uCTạo embedding cho văn bản sá»­ dụng model đã khởi tạo.zAG] Embedding dimension: uLá»—i khi tạo embedding: N)Ú_embedding_modelÚencodeÚtolistrrrrr)r[Zembr#r$r$r%Ú get_embedding‡s€þrac$ Csf|sddiStj dd¡}tj d¡}tj d¡}|dur!tdƒ‚ztd d d d  }t |¡}Wdƒn1s9wYWntyLt  d ¡‚tj yYt  d¡‚wz| dg¡}|rht |t ƒsltdƒ‚|d}|d}|d} Wnt tfy} z t  d| ›¡‚d} ~ wwt d|›¡zX|r£t||d} nt|d} t| |ƒddlm} z| j|d| jdt d¡WntyÝ} zt d| ›¡WYd} ~ nd} ~ ww| j|d} t d|›d| j›¡Wnty} z t  d | ›¡‚d} ~ wwz| ¡}| ¡d!vrWd"St d#|›¡t|ƒ}t|ƒ}dd$lm}m}m}d%}d}|r…t ||td&d'}|d\}}t d(|›d)|d*›d+¡|d,krqd-}||d||d.d/gd0}t d1|›¡nd-}||d||d.d/gd0}t d2¡z'| j!|||r|ndd3d-d%d4}|s«|r«t d5¡| j!||d6d-d%d7}WntyÉ} zt  d8| ›¡g}WYd} ~ nd} ~ ww|D]6}t"d9|j#›d:|j$d*›ƒt"d;|j% d¡ƒt"d?|j% d¡ƒt"dA|j% dd>¡ƒqÌ|sFt dB|›dC¡zt&||ƒ}t dD¡dE|dFœWWStyE} zt  dG| ›¡ddHt'| ƒ›iWYd} ~ WSd} ~ ww|rL|}ndIdJ„|Dƒ}|s’t dK¡zt&||ƒ}t dL¡dE|dFœWWSty‘} zt  dG| ›¡ddHt'| ƒ›iWYd} ~ WSd} ~ wwg}d>}dM}|D](}t(|j% dd>¡ƒ} t)|ƒt)| ƒ|kr¸|dN| 7}qš| *| ¡¡| }qš|rÍ| *| ¡¡dOdJ„t+|ƒDƒ}!dP ,|!¡}"| ›dQ|›dR|"›dS}#z t&|#|ƒ}|WWSty } zt  dT| ›¡WYd} ~ WdUSd} ~ wwty2} ztj dV| ›d-dWddXt'| ƒ›iWYd} ~ Sd} ~ ww)Yu9Xá»­ lý câu há»i sá»­ dụng RAG vá»›i Qdrant và LLM.rzInput text is required.Z QDRANT_URLzhttp://localhost:6333ZOPENROUTER_API_KEYZQDRANT_API_KEYNu:OPENROUTER_API_KEY không được cấu hình trong .env!r&r(r)r*u$Không tìm thấy file config.json!u6File config.json có định dạng không hợp lệ!r,u;Cấu trúc collections trong config.json không hợp lệrr'ru*Cấu hình collection không hợp lệ: u[RAG] Sá»­ dụng collection: )r r)r )ÚPayloadSchemaTyper )r'Ú field_nameZ field_schemau)[RAG] Äã bật text index cho 'content'uB[RAG] Không thể tạo text index (có thể đã tồn tại): )r'u.[RAG] Số lượng Ä‘iểm trong collection 'z': uLá»—i khi kết nối Qdrant: )ZhelloÚhiu xin chàouchàou chào bạnu§Xin chào! Tôi là trợ lý AI của TrÆ°á»ng Äại há»c Y Dược Cần ThÆ¡. Tôi có thể giúp bạn tìm kiếm thông tin vá» trÆ°á»ng đại há»c này.u)[RAG] Câu há»i dùng để truy vấn: )ÚFilterÚFieldConditionÚ MatchTextFr;)rHu[RAG] Từ khóa gần nhất: z (score=z.3fú)r T)r[)rDÚmatch)Zmustu0[RAG] Sá»­ dụng filter MatchText cho keyword: uZ[RAG] Không tìm thấy keyword phù hợp, dùng MatchText trá»±c tiếp từ câu há»ié¾)r'r@Ú query_filterÚlimitÚ with_payloadÚ with_vectorsuP[RAG] Không có kết quả vá»›i filter, fallback sang truy vấn vector gốcéÈ)r'r@rlrmrnu#[RAG] Lá»—i khi truy vấn Qdrant: zID: z , Score: zTitle:ÚmetadataÚtitlerTzSection:ÚsectionzContent:u;[RAG] Qdrant trả vá» kết quả rá»—ng cho collection 'ú'uH[RAG] Äã gá»i LLM trá»±c tiếp do không có kết quả từ Qdrantu*Không tìm thấy tài liệu liên quan.)rÚansweru#Lá»—i khi gá»i LLM trá»±c tiếp: z LLM error: cSsg|] }|jdkr|‘qS)r )Úscore)r<Úpointr$r$r%r?$szRAG_agent..u?[RAG] Không có tài liệu nào đạt ngưỡng score >= 0.2uS[RAG] Äã gá»i LLM trá»±c tiếp do không có tài liệu đạt ngưỡng scoreiÜú cSs"g|] \}}|d›d|›‘qS)r;rUr$)r<rAÚdocr$r$r%r??sÿÚ u Câu há»i của quý khách: u! Thông tin có sẵn: u Trả lá»i:u'Lá»—i khi gá»i LLM để trả lá»i: u@Xin lá»—i, tôi gặp lá»—i khi xá»­ lý câu há»i của bạn.uLá»—i trong quá trình RAG: )Úexc_infoz RAG error: )-ÚosÚenvironr0rQr.rr/ÚFileNotFoundErrorrrÚJSONDecodeErrorÚ isinstancerVÚKeyErrorÚ IndexErrorrrrSZqdrant_client.http.modelsrbZcreate_payload_indexZTEXTrrÚcountrYÚlowerrar3rerfrgrIÚsearchÚprintÚidruÚpayloadrÚstrr]rÚappendÚ enumerater)$Ú input_textZ qdrant_urlrZqdrant_api_keyr1r2r,Zcollection_configr'Zprompt_templater#rRrbZ points_countZ refined_inputr@r-rerfrgZ use_filterrkZclosest_keywordsZ best_keywordZ best_scoreZ search_resultrvrtZfiltered_pointsZ documentsZtemp_docÚ max_lengthr Ú context_linesÚcontextrr$r$r%Ú RAG_agent‘s\   ÿ€   þ  €þ   ý€ÿ €þ  þÿÿþÿÿ  ú û€€þ   €þ    €þÿ  ÿ €þ€þrc CsJzt|ƒ}|WSty$}zt dt|ƒ›¡WYd}~dSd}~ww)uâ Xá»­ lý văn bản đầu vào bằng AI Agent vá»›i Qdrant. Args: input_text (str): Văn bản đầu vào cần xá»­ lý Returns: Kết quả xá»­ lý từ AI Agent hoặc thông báo lá»—i u+Lá»—i trong quá trình xá»­ lý AI Agent: N)rrrrrˆ)r‹r"r#r$r$r%Úprocess_with_ai_agentSs€þrÚ__main__)rz=== AI Agent Qdrant CLI ===u,Nhập câu há»i (gõ 'exit' để thoát):TuBạn: )ÚexitÚquitÚqu Kết thúc.zAI: ry)r&)r;r4)%Z qdrant_clientrZqdrant_client.httprrNrr{rrZnumpyr5ÚdotenvrZsentence_transformersrÚ basicConfigÚINFOr^rOrrˆr3r:rIrSr]rarrÚ__name__ÚDEBUGr…ÚinputrYZ user_inputrƒÚresultr$r$r$r%ÚsL   ,   C  øü