Search
Ask A Question
In Process
Avatar
0
vubao Beginner
Asked At: 1630464848000 In: Python
vubao Beginner Asked At: 1630464848000 In: Python
So sánh xâu tiếng việt
Chào mọi người, trong quá trình xử lý text, đọc và so sánh chuỗi thì mình gặp vấn đề như sau : có 2 string nhìn bằng mắt thường thì giống nhau, nhưng khi encode sang utf-8 thì nó cho ra 2 chuỗi binary khác nhau ,ví dụ trên python 3:

s1 = 'Nguyễn Đình Bách'

s1.encode('utf-8') = b'Nguyxc3xaaxccx83n xc4x90ixccx80nh Baxccx81ch'

s2 = 'Nguyễn Đình Bách'

s2.encode('utf-8') = b'Nguyxe1xbbx85n xc4x90xc3xacnh Bxc3xa1ch'

Nên s1 == s2 sẽ cho ra False. Vậy mình muốn hỏi với những string về mắt thường nhìn giống nhau nhưng encode khác nhau như trên thì có cách nào xử lý để phép so sánh s1_daxuly == s2_daxuly ra kết quả là True không.

Cám ơn mọi người đã đọc bài.

  • 2 Answers
  • 1526 Views
  • Answer
python unicode
Remain: 5
2 Answers
Avatar
monkey Beginner
Added an answer at: 1630467637000
monkey Beginner
Added an answer at: 1630467637000
Của anh chạy bình thường: 

Python 3.8.10 (default, May  4 2021, 03:06:52) 
[Clang 12.0.0 (clang-1200.0.32.29)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> s1 = 'Nguyễn Đình Bách'
>>> print(s1.encode('utf-8'))
b'Nguy\xc3\xaa\xcc\x83n \xc4\x90i\xcc\x80nh Ba\xcc\x81ch'
>>> s2 = 'Nguyễn Đình Bách'
>>> print(s2.encode('utf-8'))
b'Nguy\xc3\xaa\xcc\x83n \xc4\x90i\xcc\x80nh Ba\xcc\x81ch'
>>> print(s1 == s2)
True
  • 0
  • Reply
Anh thử lại như này đi ạ :

s1 = b'Nguyxc3xaaxccx83n xc4x90ixccx80nh Baxccx81ch'.decode('utf8')

s2 = b'Nguyxe1xbbx85n xc4x90xc3xacnh Bxc3xa1ch'.decode('utf8')

print(s1)

print(s2)

s1 == s2

 –  vubao 1630469251000
Bạn có thể dùng lib Unidecode để khử dấu tiếng Việt trước khi so sánh nhé: 

import unidecode

s1 = b’Nguy\xc3\xaa\xcc\x83n \xc4\x90i\xcc\x80nh Ba\xcc\x81ch’.decode(‘utf8′)
s2 = b’Nguy\xe1\xbb\x85n \xc4\x90\xc3\xacnh B\xc3\xa1ch’.decode(‘utf8’)

unidecode.unidecode(s1) == unidecode.unidecode(s2)
 –  Vu Luong Anh 1630487872000
Cám ơn bạn, nhưng cách này có nhược điểm là khi so sánh để map 2 danh sách thì dẫn đến những người tên Hùng sẽ trùng với những người tên Hưng chẳng hạn: unidecode.unidecode('Hùng') == unidecode.unidecode('Hưng')  –  vubao 1630529081000
Hình như 2 xâu của em đang gõ bằng 2 bộ gõ khác nhau đúng không em? Anh đang thấy nó bị encode ra kết quả khác nhau  –  tvd12 1630546914000
E cũng đoán vậy, đây là 2 đoạn text đọc từ 2 file Excel xuất ra trên 2 hệ thống khác nhau, cần so sánh theo tên để map thông tin từ file này sang file kia ạ.  –  vubao 1630565366000
Avatar
vubao Beginner
Added an answer at: 1630554761000
vubao Beginner
Added an answer at: 1630554761000
E cũng đoán vậy, đây là 2 đoạn text đọc từ 2 file Excel xuất ra trên 2 hệ thống khác nhau, để map thông tin từ file này sang file kia.
  • 1
  • Reply
Ask A Question
  • Questions 1.0K
  • Answers 2.2K
  • Best Answers 131
  • Users 486

Related Questions

Recent Activities

Show All Activities

Top Members

Trending Tags

.net .net core .net oop #formatdate abstract class access app access token ai android ansible anti-flooding apache poi api app architecture artificial intelligence assembly async asyncawait atomicboolean authentication backend backend nestjs background bash script batch bean big project binding bitcoin blockchain blog boot-nodes branch btree bucket4j buffered build bundle c# c# .net cache caching callback career career path cast câu hỏi centos chat cloud cloud reliability commit communication computer science concurrent config-css connection pool content-disposition contract controllerservice convert date to number cookie cors cosmos cosmos-sdk crawl data cron css database database migration datasource datastructure datetime deadlock debug decentralized exchange deep learning deploy contract design patterns design-pattern devops dex di distraction programing dns đồ án tốt nghiệp docker download draw.io du học dữ liệu lớn duration eclip editor elasticsearch email erc20 erc721 estimation eth ethereum ethereum login excel excel-object-mapper exception exception handle exception handler executor export compliance extensions exyfox ezyfox ezyfox-boot ezyfox-server ezyfoxserver ezyhttp ezyjpa ezymq-kafka ezyplatform ezyredis facebook fe filter floating point flutter format json freetank front-end frontend fullstack fulltextsearch future gallery game game-box game-room game-server gateway get get file zip git glide go golang gorilla graduation thesis graphql grapql grpc guide h2 database handy terminal hazelcast hibernate hibernateconfig html http https hyperloglog image index indexing integration-test intellij interface io ioc ipfs isolate issue it java java core java spring java web javacore javascript javaw jenkins jetbrains job join jotform jpa jquery js json json file json to object jsonproperty jsp jsp & servlet junit-test jvm jwt kafka keep promise kerberos keycloak kotlin languague laravel library list load balancer load-balancing lock log log4j log4j-core login lỗi font lưu trữ machine learning macos mail mail template main map maria db math maven merge message queue messaging metamask microservice microservices migration mobile model mongo monitoring mq msgpack multi-threading multiple tenant multithread multithreading mysql n naming naming convention nan netcore netty network networking nft nft game nginx nio node.js nodejs non-blocking io null oop opensource optimize oracle orm otp message paginaiton pagination pancakeswap panic partition pdf pgpool phỏng vấn php plugin pointer postgresql postman pre private_key procedure profile programming programming-language project management promise properties push message android push notification push-noti python python unicode qr qrcode question queue rabbitmq react-native reactive reactjs reactjs download readmoretextview recyclerview redis refactor refresh token regex replica repository request resilence4j resource rest restful resttemplate roadmap room database ropssten ropsten round robin rust rxjava s3 schedule scheduled scheduled spring boot search security send email send mail serialization server servlet session shift jis singleton sjis slack smart contract soap socket socket server soft delete solution sosanh spring spring aop spring boot spring data jpa spring redis spring security spring websocket spring websocket cors spring-boot-test spring-jpa springboot springsecurity springwebflux mysql sql sql server sse ssl ssl email stackask storage stream stream api stress test stresstest structure trong spring boot study synchronize synchronized system environment variables tcp test thiết kế tầng trong dự án thread thread pool threadjava threadpool thymeleaf tomcat totp tracking location transaction transfer transfer git udp uniswap unit test unity upload upload file utf-8 file validate validate date vector video call vietqr view volatile vue vue cli vuejs watermark web web3 web3 client webassembly webflux webpack webrtc websocket windows 11 winforms wordpress work xss zip file zookeeper