ViewVC Help
View File | Revision Log | Show Annotations | Root Listing
root/pymsxml/pymsxml.py
(Generate patch)
# Line 7 | Line 7
7   import tempfile
8   import csv
9   import gzip
10 < import zipfile
10 > import zlib
11   from array import array
12   from base64 import b64encode,b64decode
13   from urllib import quote,unquote
# Line 17 | Line 17
17      def __init__(self):
18          self.name_ = "PyMsXML"
19          self.majorVer = 0
20 <        self.minorVer = 4
21 <        self.revVer = 0
20 >        self.minorVer = 5
21 >        self.revVer = 2
22      def version(self):
23          return "%d.%d.%d"%(self.majorVer,self.minorVer,self.revVer)
24      def name(self):
# Line 36 | Line 36
36      return s.hexdigest().lower()
37  
38   class ToMzXML:
39 <    def __init__(self,reader,filename,cmpfmt=None,filt=None):
39 >    def __init__(self,reader,filename,cmpfmt=None,filt=None,peaksCompress=False,version="3.0"):
40          self.filename = filename
41          self.compressfmt = cmpfmt
42          self.reader = reader
# Line 45 | Line 45
45          self.actualScanCount = 0
46          self.scanIndices = {}
47          self.filter = filt
48 +        if not version in ('2.1','2.2','3.0'):
49 +            raise "Bad mzXML version \"%s\""%(version,)
50 +        self.version = version
51 +        if peaksCompress and float(self.version) < 3.0:
52 +            raise "Cannot compress peaks until mzXML version 3.0"
53 +        self.peakcompress = peaksCompress
54  
55      def __del__(self):
56          if hasattr(self,'tmpFileName') and self.tmpFileName and self.tmpFileName != '':
# Line 97 | Line 103
103          self.writeString (xmlFile,'<?xml version="1.0" encoding="ISO-8859-1"?>\n')
104    
105          outStr = "<mzXML "
106 <        outStr += "xmlns=\"http://sashimi.sourceforge.net/schema_revision/mzXML_2.1\" "
106 >        outStr += "xmlns=\"http://sashimi.sourceforge.net/schema_revision/mzXML_%s\" "%(self.version,)
107          outStr += "xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" "
108 <        outStr += "xsi:schemaLocation=\"http://sashimi.sourceforge.net/schema_revision/mzXML_2.1 http://sashimi.sourceforge.net/schema_revision/mzXML_2.1/mzXML_idx_2.1.xsd\""
108 >        outStr += "xsi:schemaLocation=\"http://sashimi.sourceforge.net/schema_revision/mzXML_%s http://sashimi.sourceforge.net/schema_revision/mzXML_%s/mzXML_idx_%s.xsd\""%(self.version,self.version,self.version)
109          outStr += ">\n"
110  
111          self.writeString (xmlFile,outStr)
112    
113          outStr = "<msRun"
114          outStr += " scanCount=\"%d\"" % (self.actualScanCount,)
115 <        for (k,v) in self.reader.getMsRunMetaData().items():
115 >        md = self.reader.getMsRunMetaData()
116 >        for (k,v) in md.items():
117              k,f = k.split(':')
118 <            outStr += (" %%s=\"%s\""%(f,))%(k,v)
118 >            if self.version not in ('2.2',) or (k != 'startTime'and k != 'endTime'):
119 >                outStr += (" %%s=\"%s\""%(f,))%(k,v)
120          outStr += ">\n"
121  
122          self.writeString (xmlFile,outStr)
# Line 129 | Line 137
137                  outStr += "fileSha1=\"%s\""  % (f[2],)
138                  outStr += "/>\n"                
139              self.writeString (xmlFile,outStr)
140 <  
141 <        outStr = "<msInstrument>\n"
140 >
141 >        if float(self.version) >= 3.0:
142 >            outStr = "<msInstrument msInstrumentID=\"%s\">\n" % (self.reader.msInstrumentID(),)
143 >        else:
144 >            outStr = "<msInstrument>\n"
145 >            
146          outStr += "<msManufacturer category=\"msManufacturer\" value=\"%s\"/>\n" % (self.reader.msManufacturer(),)
147          outStr += "<msModel category=\"msModel\" value=\"%s\"/>\n" % (self.reader.msModel(),)
148          if self.reader.msIonisation():
# Line 179 | Line 191
191              outStr += "/>\n"
192              outStr += "<processingOperation "
193              outStr += "name=\"peak_detection_level_1_software\" "
194 <            outStr += "value=\"Analyst\""
194 >            outStr += "value=\"%s\""%(self.reader.acquisitionSoftware(),)
195              outStr += "/>\n"
196              self.writeString (xmlFile,outStr)
197          if (self.reader.peakDetect(2)):
# Line 193 | Line 205
205              outStr += "/>\n"
206              outStr += "<processingOperation "
207              outStr += "name=\"peak_detection_level_2_software\" "
208 <            outStr += "value=\"Analyst\""
208 >            outStr += "value=\"%s\""%(self.reader.acquisitionSoftware(),)
209              outStr += "/>\n"
210              self.writeString (xmlFile,outStr)
211  
# Line 357 | Line 369
369              outStr += ">\n"
370              self.writeString(xmlFile,outStr)
371  
372 +            if self.version in ('2.2',):
373 +                any = False
374 +                for (k,v) in d.items():
375 +                    if k.startswith('scanOrigin.'):
376 +                        if not any:
377 +                            any = True
378 +                            outStr = "<scanOrigin"
379 +                        k,f = k.split(':')
380 +                        k = k[11:]
381 +                        outStr += (" %%s=\"%s\""%(f,))%(k,v)
382 +                if any:
383 +                    outStr += "/>\n"
384 +                    self.writeString(xmlFile,outStr)
385 +
386              if msLevel > 1:
387  
388                  if not d.has_key('precursorMz') :
# Line 401 | Line 427
427                  outStr += "%f</precursorMz>\n" % (pMz,)
428                  self.writeString(xmlFile,outStr)
429  
430 <            if self.reader.maldi():
430 >            if self.reader.maldi() and self.version in ('2.2',):
431                  outStr = '<maldi'
432                  for (k,v) in d.items():
433                      if k.startswith('maldi.'):
# Line 413 | Line 439
439                  outStr += "/>\n"
440                  self.writeString(xmlFile,outStr)
441  
442 <            outStr = "<peaks precision=\"32\" byteOrder=\"network\" pairOrder=\"m/z-int\">"
442 >            if sys.byteorder != 'big':
443 >                s.byteswap()
444 >
445 >            if debug:
446 >                s = s[:20]
447 >
448 >            specstr = s.tostring()
449 >            if self.peakcompress:
450 >                specstr = zlib.compress(specstr,9)
451 >                outStr = "<peaks precision=\"32\" byteOrder=\"network\" contentType=\"m/z-int\" compressionType=\"zlib\" compressedLen=\"%d\">"%(len(specstr),)
452 >            else:
453 >                if float(self.version) >= 3.0:
454 >                    outStr = "<peaks precision=\"32\" byteOrder=\"network\" contentType=\"m/z-int\" compressionType=\"none\" compressedLen=\"%d\">"%(len(specstr),)
455 >                else:
456 >                    outStr = "<peaks precision=\"32\" byteOrder=\"network\" pairOrder=\"m/z-int\">"
457 >                    
458              self.writeString(xmlFile,outStr)
459  
460              # Spec says the byte order shall be
# Line 422 | Line 463
463              if sys.byteorder != 'big':
464                  s.byteswap()
465  
466 <            outStr = b64encode(s.tostring())
467 <            if not debug:
427 <                self.writeString(xmlFile,outStr)
428 <            else:
429 <                self.writeString(xmlFile,outStr[0:100])
430 <
431 <            if sys.byteorder != 'big':
432 <                s.byteswap()
466 >            outStr = b64encode(specstr)
467 >            self.writeString(xmlFile,outStr)
468  
469              outStr = "</peaks>\n"
470              self.writeString(xmlFile,outStr)
471  
472 <            if self.reader.maldi():
472 >            if self.reader.maldi() and self.version not in ('2.2',):
473                  outStr = ''
474                  for (k,v) in d.items():
475                      if k.startswith('maldi.'):
476                          k,f = k.split(':')
477                          k = k[6:]
478                          outStr += '<nameValue'
479 <                        outStr += ' name="%s"'%(k,)
480 <                        outStr += (' value="%f"'%(f,))%(v,)
479 >                        outStr += ' name="maldi.%s"'%(k,)
480 >                        outStr += (' value="%s"'%(f,))%(v,)
481                          outStr += '/>\n'
482 < ##              outStr += '<nameValue'
483 < ##              outStr += ' name="plateID"'
484 < ##              outStr += ' value="%s"'%(d['plateID'],)
485 < ##              outStr += '/>\n'
486 < ##              outStr += '<nameValue'
487 < ##              outStr += ' name="spotID"'
488 < ##              outStr += ' value="%s"'%(d['spotID'],)
489 < ##              outStr += '/>\n'
482 >                outStr += '<nameValue'
483 >                outStr += ' name="maldi.plateID"'
484 >                outStr += ' value="%s"'%(d['plateID'],)
485 >                outStr += '/>\n'
486 >                outStr += '<nameValue'
487 >                outStr += ' name="maldi.spotID"'
488 >                outStr += ' value="%s"'%(d['spotID'],)
489 >                outStr += '/>\n'
490 >                self.writeString(xmlFile,outStr)
491 >
492 >            if self.version not in ('2.2',):
493 >                outStr = ''
494 >                for (k,v) in d.items():
495 >                    if k.startswith('scanOrigin.'):
496 >                        k,f = k.split(':')
497 >                        k = k[11:]
498 >                        outStr += '<nameValue'
499 >                        outStr += ' name="scanOrigin.%s"'%(k,)
500 >                        outStr += (' value="%s"'%(f,))%(v,)
501 >                        outStr += '/>\n'
502 >                self.writeString(xmlFile,outStr)
503 >
504 >            outStr = ''
505 >            for (k,v) in d.items():
506 >                if k.startswith('nameValue.'):
507 >                    k,f = k.split(':')
508 >                    k = k[10:]
509 >                    outStr += '<nameValue'
510 >                    outStr += ' name="%s"'%(k,)
511 >                    outStr += (' value="%s"'%(f,))%(v,)
512 >                    outStr += '/>\n'
513 >            if len(outStr) > 0:
514                  self.writeString(xmlFile,outStr)
515  
516              xmlFile.flush()
# Line 459 | Line 518
518              prevSpec = s
519  
520          outStr = ""
521 <        for m in xrange(0,msLevel):
521 >        for m in xrange(0,len(ancestors)+1):
522              outStr += "</scan>\n"
523  
524          self.writeString(xmlFile,outStr)
# Line 812 | Line 871
871          self.theFMANSpecData = None
872          self.startTime = None
873          self.stopTime = None
874 +        self.applyPeakDetect = []
875          if peaks:
876              self.applyPeakDetect = map(int,peaks.split(','))
877  
# Line 907 | Line 967
967                              if self.peakDetect(msLevel):
968                                  peakDetect = 'True'
969                                  minY,maxY = self.theFMANSpecData.GetYValueRange()
970 <                                print minY,maxY
970 >                                # print minY,maxY
971                                  self.theFMANSpecData.Threshold(maxY*0.01)
972                                  self.theSPL.FindPeaksInDataObject(self.theFMANSpecData,50.0)
973                                  numPeaks = self.theSPL.GetNumberOfPeaks()
974 <                                print numPeaks
974 >                                # print numPeaks
975                                  for m in xrange(1,numPeaks+1):
976                                      (x,w,y,yp) = self.theSPL.GetPeak(m)
977                                      if y <= 0:
# Line 941 | Line 1001
1001  
1002                              # Scan level attributes
1003                              # Required by mzXML (no format spec. needed)
1004 <                            d = {'msLevel':msLevel,'scan.peakDetect:%s':peakDetect}
1004 >                            d = {'msLevel':msLevel}
1005                              # Optional ('scan.' and prefixformat spec. needed)
1006                              d.update({
1007                                  'scan.retentionTime:PT%fS':xValue,
1008                                  'scan.polarity:%s':polarity_val,
1009                                  'scan.startMz:%f':startMass,
1010                                  'scan.endMz:%f':stopMass,
951                                'scan.sample:%d':i,
952                                'scan.period:%d':j,
953                                'scan.experiment:%d':k,
954                                'scan.sampleName:%s':sampleName
1011                                  })
1012 <                            d.update({'scanOrigin.parentID:%s': self.filehash[f],
1012 >                            d.update({'scanOrigin.parentFileID:%s': self.filehash,
1013                                        'scanOrigin.num:%d': spectrumCount})
1014 +                            d.update({'nameValue.sample:%d':i,
1015 +                                      'nameValue.period:%d':j,
1016 +                                      'nameValue.experiment:%d':k,
1017 +                                      'nameValue.sampleName:%s':sampleName})
1018 +
1019                              if msLevel == 1:
1020                                  yield (dataArr,d)
1021                              else:
# Line 975 | Line 1036
1036      def getFilenames(self):
1037          return [ (self.filename,self.filehash) ]
1038  
1039 +    def msInstrumentID(self):
1040 +        return "1"
1041 +
1042      def msManufacturer(self):
1043          return "ABI / SCIEX"
1044  
# Line 988 | Line 1052
1052          return "Quadrupole"
1053  
1054      def msDetector(self):
1055 <        return None
1055 >        return "LE"
1056  
1057      def acquisitionSoftware(self):
1058          return "Analyst"
# Line 1019 | Line 1083
1083          # print >>sys.stderr, ">>",self.context
1084          # sys.stderr.flush()
1085          if self.context.endswith(':msRun'):
1086 <            self.md['startTime'] = float(attrs['startTime'][2:-1])
1087 <            self.md['endTime'] = float(attrs['endTime'][2:-1])
1086 >            if attrs.has_key('startTime'):
1087 >                self.md['startTime'] = float(attrs['startTime'][2:-1])
1088 >            if attrs.has_key('endTime'):
1089 >                self.md['endTime'] = float(attrs['endTime'][2:-1])
1090          elif self.context.endswith(':parentFile'):
1091 <            self.md['fileName'] = unquote(attrs['fileName'])
1092 <            self.md['fileType'] = attrs['fileType']
1093 <            self.md['fileSha1'] = attrs['fileSha1']
1091 >            if not self.md.has_key('parentFile'):
1092 >                self.md['parentFile'] = []
1093 >            self.md['parentFile'].append((unquote(attrs['fileName']),attrs['fileType'],attrs['fileSha1']))
1094          elif self.context.endswith(':instrument'):
1095              self.md['msManufacturer'] = attrs['manufacturer']
1096              self.md['msModel'] = attrs['model']
# Line 1079 | Line 1145
1145              self.scannum = int(attrs['num'])
1146              if attrs.has_key('retentionTime'):
1147                  self.rt = float(attrs['retentionTime'][2:-1])
1148 <            self.endMz = float(attrs['endMz'])
1149 <            self.startMz = float(attrs['startMz'])
1148 >            if attrs.has_key('endMz'):
1149 >                self.endMz = float(attrs['endMz'])
1150 >            if attrs.has_key('startMz'):
1151 >                self.startMz = float(attrs['startMz'])
1152              self.polarity = attrs.get('polarity',None)
1153              for (k,v) in attrs.items():
1154                  self.scanmd[k] = v
# Line 1092 | Line 1160
1160              self.context = ':msRun'
1161          elif name == 'scanOrigin':
1162              self.scanmd['scanOrigin'] = attrs
1163 +        elif self.context.endswith(':scan:nameValue'):
1164 +            self.scanmd['nameValue.%s:%%s'%attrs['name']] = attrs['value']
1165              
1166      def characters(self, content):
1167          if self.scancount >= self.scanstart:
# Line 1103 | Line 1173
1173          if self.scancount >= self.scanstart:
1174              if self.context.endswith('scan:peaks'):
1175                  
1176 <                spec = array('f')
1176 >                self.spec = array('f')
1177                  # print >>sys.stderr, len(self.content), len(b64decode(self.content)), self.content
1178 <                spec.fromstring(b64decode(self.content))
1178 >                self.spec.fromstring(b64decode(self.content))
1179                  if sys.byteorder != 'big':
1180 <                    spec.byteswap()
1180 >                    self.spec.byteswap()
1181 >            elif self.context.endswith(':scan'):
1182                  d = {'msLevel':self.scanlevel}
1183                  # Optional ('scan.' and prefixformat spec. needed)
1184 <                d.update({
1185 <                    'scan.retentionTime:PT%fS':self.rt,
1186 <                    'scan.startMz:%f':self.startMz,
1187 <                    'scan.endMz:%f':self.endMz
1188 <                    })
1184 >                if hasattr(self,'rt'):
1185 >                    d.update({'scan.retentionTime:PT%fS':self.rt})
1186 >                if hasattr(self,'startMz'):
1187 >                    d.update({'scan.startMz:%f':self.startMz})
1188 >                if hasattr(self,'endMz'):
1189 >                    d.update({'scan.endMz:%f':self.endMz})
1190                  if self.polarity != None:
1191                      d.update({'scan.polarity:%s':self.polarity})
1192                  if self.scanlevel == 2:
1193                      d.update({'precursorMz':self.precursorMz})
1194                  if self.scanmd.has_key('scanOrigin'):
1195 <                    d.update({'scanOrigin.parentID:%s': self.scanmd['scanOrigin']['parentID'],
1196 <                              'scanOrigin.num:%d': self.scanmd['scanOrigin']['num']})
1195 >                    d.update({'scanOrigin.parentFileID:%s': self.scanmd['scanOrigin']['parentFileID'],
1196 >                              'scanOrigin.num:%d': int(self.scanmd['scanOrigin']['num'])})
1197                  for (k,v) in self.scanmd.items():
1198                      if not d.has_key(k):
1199                          d[k] = v
1200 <                self.spectra.append((spec,d))
1200 >                self.spectra.append((self.spec,d))
1201                  if len(self.spectra) >= self.scanmax:
1202                      self.scanstart = self.scancount+1
1203                      raise SAXException("Early termination")
# Line 1210 | Line 1282
1282  
1283      def getMsRunMetaData(self):
1284          self.open()
1285 <        d = {'startTime:PT%fS':self.md['startTime'],
1286 <             'endTime:PT%fS':self.md['endTime']
1287 <             }
1285 >        d = {}
1286 >        if self.md.has_key('startTime'):
1287 >            d.update({'startTime:PT%fS':self.md['startTime']})
1288 >        if self.md.has_key('endTime'):
1289 >            d.update({'endTime:PT%fS':self.md['endTime']})
1290          return d
1291  
1292      def getFilenames(self):
1293 <        return [ (self.md['fileName'],self.md['fileType'],self.md['fileSha1']) ]
1293 >        return self.md['parentFile']
1294 >
1295 >    def msInstrumentID(self):
1296 >        return "1"
1297 >
1298 >    def peakDetect(self,level):
1299 >        return False
1300  
1301      def msManufacturer(self):
1302          return self.md.get('msManufacturer','')
# Line 1371 | Line 1451
1451  
1452   #   remove .set and .cts files to prevent DataExplorer crashes - DT 11-1-2006
1453      def remsettingsfile(self,fn):
1454 <
1455 <       if ((len(fn) > 3) and (fn[-4:].lower() == '.t2d')):
1456 <           path2del = fn[:-4] + '.cts'
1457 <           if os.path.exists(path2del):
1458 <               os.unlink(path2del)
1459 <           path2del = fn[:-4] + '.set'
1460 <           if os.path.exists(path2del):
1461 <               os.unlink(path2del)
1454 >        # print "rmsettingsfile: %s"%fn
1455 >        if ((len(fn) > 3) and (fn[-4:].lower() == '.t2d')):
1456 >            path2del = fn[:-4] + '.cts'
1457 >            if os.path.exists(path2del):
1458 >                os.unlink(path2del)
1459 >            path2del = fn[:-4] + '.set'
1460 >            if os.path.exists(path2del):
1461 >                os.unlink(path2del)
1462  
1463      def spectra(self):
1464          self.open()
# Line 1388 | Line 1468
1468  
1469              if f != prevfile:
1470                  self.deapp.Documents.Close()
1471 +                self.remsettingsfile(prevfile)
1472  
1473                  if not os.path.exists(f):
1474                      print >>sys.stderr, "Filename %s does not exist."%(f,)
1475                      sys.exit(1)
1476                  
1477                  self.remsettingsfile(f)
1397                self.remsettingsfile(prevfile)
1398
1478                  self.deapp.Documents.Open(f)
1479 +                # print "open %s"%f
1480 +
1481  
1482              doc = self.deapp.Documents.Item(0)
1483              sv = doc.SpecView
# Line 1440 | Line 1521
1521  
1522              # Scan level attributes
1523              # Required by mzXML (no format spec. needed)
1524 <            d = {'msLevel':msLevel,'scan.peakDetect:%s':peakDetect}
1524 >            d = {'msLevel':msLevel}
1525              # Optional ('scan.' and prefixformat spec. needed)
1526              d.update({
1527                  'scan.polarity:%s':polarity_val,
# Line 1451 | Line 1532
1532                  'plateID':self.metadata['SCAN'][scanindex]['plateID'],
1533                  'spotID':self.metadata['SCAN'][scanindex]['spotID'],
1534                  })
1535 <            d.update({'scanOrigin.parentID:%s': self.distinct_datafiles[f],
1535 >            d.update({'scanOrigin.parentFileID:%s': self.distinct_datafiles[f],
1536                        'scanOrigin.num:%d': i})
1537              if msLevel == 1:
1538                  yield (dataArr,d)
# Line 1466 | Line 1547
1547              prevfile = f
1548  
1549          self.deapp.Documents.Close()
1469
1550          self.remsettingsfile(prevfile)
1551 +        self.remsettingsfile(f)
1552              
1553      def getMsRunMetaData(self):
1554          self.open()
# Line 1476 | Line 1557
1557      def getFilenames(self):
1558          return [ t for t in self.distinct_datafiles.items() ]
1559  
1560 +    def msInstrumentID(self):
1561 +        return "1"
1562 +
1563      def msManufacturer(self):
1564          return "ABI / SCIEX"
1565  
# Line 1489 | Line 1573
1573          return "TOF"
1574  
1575      def msDetector(self):
1576 <        return None
1576 >        return "LE"
1577  
1578      def acquisitionSoftware(self):
1579          return "DataExplorer"
# Line 1596 | Line 1680
1680                        help="Level(s) of spectra to apply peak detection to (comma separated). QStar,4700 only.")
1681      parser.add_option("-f", "--filter", type="string", dest="filter", default=None,\
1682                        help="Filter on mzxml scan meta-data: field.op.value[,field.op.value]. Default: No filter.")
1683 <    parser.add_option("-d", "--debug", action="store_true", dest="debug", default=False,\
1684 <                      help="Debug. First 10 spectra only, and truncated peaks data element. Default: False.")
1683 >    parser.add_option("-V", "--version", type='string', dest="version", default="3.0",
1684 >                      help="XML version. mzXML only. Valid options '2.1','2.2','3.0'. Default: '3.0'.")
1685 >    parser.add_option("-z", "--compress_peaks", action="store_true", dest="compress_peaks", default=None,\
1686 >                      help="Compress mzXML peaks data using zlib. Default: False")
1687      parser.add_option("-Z", "--compress", type="string", dest="compress", default=None,\
1688                        help="Compress output file. Valid options 'gz'. Default: None.")
1689 +    parser.add_option("-d", "--debug", action="store_true", dest="debug", default=False,\
1690 +                      help="Debug. First 10 spectra only, and truncated peaks data element. Default: False.")
1691      
1692      ( opts, args ) = parser.parse_args()
1693  
# Line 1650 | Line 1738
1738              sys.exit(1)
1739  
1740          if opts.xmlformat.lower() == 'mzxml':
1741 <            x = ToMzXML(r,o,opts.compress,filt)
1741 >            x = ToMzXML(r,o,opts.compress,filt,opts.compress_peaks,opts.version)
1742          elif opts.xmlformat.lower() == 'mzdata':
1743              x = ToMzData(r,o,opts.compress,filt)
1744          elif opts.output[-6:].lower() in ('.mzxml',):
1745 <            x = ToMzXML(r,opts.output,opts.compress,filt)
1745 >            x = ToMzXML(r,opts.output,opts.compress,filt,opts.compress_peaks,opts.version)
1746          elif opts.output[-7:].lower() in ('.mzdata',):
1747              x = ToMzData(r,opts.output,opts.compress,filt)
1748          else:

Diff Legend

Removed lines
+ Added lines
< Changed lines
> Changed lines