Set a script to automatically detect character encoding in a plain-text-file in Python? -

-

इस सवाल का पहले से ही एक उत्तर है: < / P>

  • 8 जवाब

मैंने एक सेट किया है स्क्रिप्ट जो मूल रूप से एक बड़े पैमाने पर ढूँढता है और एक सादा पाठ दस्तावेज़ पर प्रतिस्थापित करता है।

फिलहाल यह एएससीआईआई, यूटीएफ -8, और यूटीएफ -16 (और शायद अन्य लोगों के साथ ठीक काम करता है, लेकिन मैंने इन तीनों एन्कोडेड दस्तावेजों का परीक्षण किया है) जब तक एन्कोडिंग स्क्रिप्ट के भीतर निर्दिष्ट हो (नीचे दिए गए उदाहरण कोड में यूटीएफ -16 निर्दिष्ट करता है।)

क्या स्क्रिप्ट को स्वचालित रूप से पता चलता है कि इनमें से कौन सी वर्ण एन्कोडिंग इनपुट फ़ाइल में उपयोग किए जा रहे हैं और स्वचालित रूप से आउटपुट फाइल के वर्ण एन्कोडिंग इनपुट फ़ाइल पर उपयोग किए जाने वाले एन्कोडिंग के समान? 

  findreplace = [('term1', 'term2'),] inF = open (infile, 'rb') s = यूनिकोड (inF (रीड), 'यूटीएफ -16') इनफ़्लोस्ट = एस। रीपल (जोड़े [0], जोड़ी [1]) एस = आउटटेक्स्ट आउट एफ = ओपन (आउटफाइल, 'वाईब') में जोड़े के लिए INF.close () OutF.write (outtext.encode ('utf-16')) outF.close ()

धन्यवाद!

जेएफ सेबस्टियन ने पोस्ट किया: कोशिश करें।

ध्यान रखें कि सामान्य तौर पर यह पता लगाना असंभव है कि हर इनपुट फ़ाइल का ई अक्षर एन्कोडिंग 100% मज़बूती से - दूसरे शब्दों में, संभव इनपुट फ़ाइलें हैं जो कि कई वर्ण एन्कोडिंग के समान समान रूप से व्याख्या की जा सकती हैं, और यह कहने का कोई तरीका नहीं हो सकता है कि कौन सा एक वास्तव में इस्तेमाल किया जा रहा है Chardet कुछ प्रयोगिक विधियों का उपयोग करता है और आपको विश्वास स्तर बताता है कि यह कैसे सुनिश्चित होता है कि यह वर्ण एन्कोडिंग यह बताता है कि वास्तव में सही है।


Comments

Post a Comment

Popular posts from this blog

windows - Heroku throws SQLITE3 Read only exception -

-
After I deploy the app to Heroku, I have to run migration scripts and get this error message ... ITES \ padrino \ prophetmargin & gt; Heroku Rack AR: Rack mutated! SQLite3 :: ReadOnlyException: only one try to write database to read: CREATE TABLE "schema_migrations" ( "version" varchar (255) NOT NULL) /disk1/home/slugs/215264_925fd2c_65a3/mnt/.bundle/gems/gems/ padrino-core- is 0.9.11 / lib / padrino-core / cli / rake.rb: 9: in `init ' how can this be? I also tried to run Heroku dbpush SQLite: //db/my-db.db and that did not work Horoku sqlite3 but using postgres does not do. I'm not sure why you are receiving this error, however, as I have used sqlite3 in development and when pushing it into its travel, they do some magic which migrates to postgrads. I'm absolutely sure how Heroku does 'backwash' this database but it seems that this is happening to you because it's the SQLite db file which is obviously due to Heroku's...
Read more

lex - Building a lexical Analyzer in Java -

-
I am currently learning lexical analysis in compiler design. To know how a lexical analyzer actually works, I am trying to build myself. I am planning to make it in Java The input to the lexical analyzer is a .tex file that is of the following format. \ section {script} {intro} \ section {Scope} arbitrary text \ section {relevance} uncontrolled text \ subdivision (profit) arbitrary text \ subsubsection {in real life} \ subdivision {Ingredient} \ end {document} The output of the lecture may be a table of contents with a page number in another file. 1 Introduction 1 1.1 Scope 1 1.2 Relevance 2 1.2.1 Benefits 2 1.2.1.1 Real life 2 1.2.2 loss 3 I hope that This problem is within the scope of Language Analysis Read the .exe file and check '\' and continue to check whether it is actually on search In the sectioning command is set to indicate whether or not a flag variable is the type of sectioning. I hope the above approach will work for the construction of Lexa...
Read more

python - rename keys in a dictionary -

-
I want to change the names of keys in a dictionary which are ints, and I need them so that the inputs with key zero They can sort correctly. For example, my keys are like this: '1', '101', '11' and I may need them: '001', '101', '011' What is doing, but I know that there is a better way tmpDict = {} in the ADC for the old: t MpDict ['% 04d'% int (olden)] = addict [oldkey] New controlled = tmpDict You are going wrong about this if you want to draw entries on a line in a specific way, then you have to sort on the extraction. for sorted (D, key = int): print '% s:% R'% (k, d [k])
Read more