1 
 

Title: A posterior approach to correct for focal plane offsets in 

1 

lattice light sheet structured illumination microscopy 

2 

Yu Shi,

a

 Tim A. Daugird,

b

 Wesley R. Legant,

a,b,*

  

3 

 

4 

a 

Joint Department of Biomedical Engineering, University of North Carolina at Chapel Hill and North Carolina State 

5 

University, Chapel Hill, USA 

6 

b 

Department of Pharmacology, University of North Carolina at Chapel Hill, Chapel Hill, USA 

7 

 

8 

Abstract 

9 

Significance: 

Lattice  light  sheet  structured  illumination  microscopy  (latticeSIM)  has  proven  highly 

10 

effective in producing 3D images with super resolution rapidly and with minimal photobleaching. However, 

11 

due to the use of two separate objectives, sample-induced aberrations can result in an offset between the 

12 

planes of excitation and detection, causing artifacts in the reconstructed images. 

 

13 

Aim: 

We 

introduce a posterior approach to detect and correct for the axial offset between the excitation 

14 

and detection focal planes in latticeSIM and provide a method to minimize artifacts in the reconstructed 

15 

images.

 

16 

Approach: 

We utilized the residual phase information within the overlap regions of the laterally shifted 

17 

structured illumination microscopy (SIM) information components in frequency space to retrieve the axial 

18 

offset between the excitation and the detection focal planes in latticeSIM.

 

19 

Results: 

We  validated  our  technique  through  simulations  and  experiments,  encompassing  a  range  of 

20 

samples from fluorescent beads to subcellular structures of adherent cells. We also show utilizing transfer 

21 

functions  with  the  same  axial  offset  as  that  which  was  present  during  the  data  acquisition  results  in 

22 

reconstructed images with minimal artifacts and salvages otherwise unusable data.

 

23 

Conclusion: 

We envision that our method will be a valuable addition to restore image quality in latticeSIM 

24 

datasets even for those acquired under non-ideal experimental conditions.

 

25 

Keywords:  Fluorescence  microscopy,  Super  resolution  microscopy,  Lattice  light  sheet  microscopy, 

26 

Structured illumination microscopy 

27 

*Corresponding Author, Email: legantw@email.unc.edu 

28 

1 

Introduction 

29 

Lattice light sheet microscopy (LLSM) has been widely applied in biological imaging across various scales, 

30 

spanning from biomolecules to embryos

1–3

. This technique offers several advantages over epifluorescence 

31 

or  confocal  microscopy,  including  minimal  out-of-focus  fluorescence,  reduced  photobleaching  and 

32 

phototoxicity,  and  enhanced  imaging  speed.  By  utilizing  the  interference  pattern  from  multiple  beams, 

33 

LLSM improves beam uniformity and axial resolution compared to Gaussian beams

4,5

. Typically, to ensure 

34 

uniform  sample  illumination  and  maximize  imaging  speed,  lattice  light  sheets  are  laterally  dithered  to 

35 

average  out  modulations  due  to  the  interfering  beams.  However,  by  stepping  the  lattice  in  discrete 

36 

increments rather than dithering, the same light sheet can be utilized for  super resolution SIM yielding 

37 

improved  lateral  and  axial  resolution

2

.  LatticeSIM  also  more  thoroughly  fills  out  the  optical  transfer 

38 

function (OTF) axially compared with dithered lattice illumination which results in better image quality. 

39 

However, due to the fixed objective orientation and the lower numerical aperture (NA) of the excitation 

40 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

2 
 

objective compared to the detection objective, latticeSIM has less resolution improvement than 3D SIM 

41 

and these improvements are restricted to only a single orientation. Nevertheless the lower photobleaching 

42 

and phototoxicity of latticeSIM has proven useful for imaging a variety of biological samples

2,6

.  

43 

In addition to the limitations described above, the dual-objective requirement for latticeSIM also introduces 

44 

the risk of potential misalignment between the excitation pattern and the detection focal plane. Although 

45 

this is common to all dual-objective light sheet systems, focus mismatch is particularly detrimental for 

46 

latticeSIM  due  to  the  high  NA  of  excitation  and  detection  and  the  complexities  of  the  classical  SIM 

47 

reconstruction algorithm

7

 which can lead to artifacts in the final image

8

. 

48 

Although  there  are  a  variety  of  autofocusing  routines

9–12

  to  correct  mismatch  in  axial  focus  between 

49 

excitation and detection objectives, these methods face three primary limitations. First, autofocusing often 

50 

necessitates a separate imaging routine that must be interspersed with a normal timelapse scan. This leads 

51 

to additional photobleaching and photoxicity and slower acquisition rates. Second, sample-induced axial 

52 

misalignment might  vary across the biological sample and even within a single field of view, therefore 

53 

requiring multiple iterations of autofocusing in different regions. And finally, intensity-based optimizations 

54 

may not work correctly for the periodic illuminations used in latticeSIM.  Hence, there is  motivation to 

55 

develop a posterior approach to detect and correct for misalignments caused by system drift or sample-

56 

induced aberrations in latticeSIM. If successful, such an approach could salvage misaligned data, adapt to 

57 

changes in live samples on the fly, and avoid the need for additional imaging routines.  

58 

Inspired  by  previous  publications  in  opposed  objective,  interferometric  structured  illumination

13,14

,  we 

59 

propose  a  method  to  ascertain  the  axial  mismatch  between  excitation  and  detection  focal  planes  in 

60 

latticeSIM  imaging  purely  from  the  raw  datasets.  By  measuring  the  residual  phase  within  the  overlap 

61 

regions  among  different  laterally  shifted  frequency  components,  we  establish  that  it  is  possible  to 

62 

posteriorly determine the axial offset between the illumination pattern and the detection focal plane. We 

63 

demonstrate the efficacy of this method through simulations and validation using fluorescent beads and 

64 

biological  samples.  Once  the  offset  has  been  determined,  we  show  that  reconstructing  with  transfer 

65 

functions acquired with the same axial offset as retrieved by our method successfully mitigates artifacts 

66 

arising from misalignment in the raw data. 

 

67 

2 

Methods 

68 

2.1 Theory 

69 

For clarity, we adopt here a similar notation to that used in Gustafsson et al

7

. In fluorescence microscopy, 

70 

the observed raw data 

𝐷(𝒓)

 is the convolution of the sample-emitted fluorescence 

𝐸(𝒓)

 and microscope’s 

71 

detection point spread function 

𝐻(𝒓)

. 

72 

𝐷(𝒓) = (𝐸⨂𝐻)(𝒓)

                                                                        (1) 

73 

The emitted fluorescence is the product of the fluorescently labelled sample structure S(r) and the excitation 

74 

point spread function 

𝐼(𝒓)

. 

75 

𝐸(𝒓) = 𝐼(𝒓)𝑆(𝒓)

                                                                            (2) 

76 

This can  also  be  written  in  frequency  space  as 

𝐸̃(𝒌) = (𝑆̃⨂𝐼̃)(𝒌)

,  where 

𝑆̃(𝒌)

 and 

𝐼̃(𝒌)

 are the  Fourier 

77 

transforms of S(

r

) and I(

r

). 

78 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

3 
 

 

79 

 

80 

Figure  1:  Overview  of  latticeSIM  imaging.

 

(a)

  Image  of  the  latticeSIM  setup.  Six  beams  are  emitted  by  the 

excitation objective (left) and form a hexagonal interference pattern. The detection objective (right) collects the 
emitted fluorescence. The red and orange box highlight the positions of pupil and sample planes respectively 

(b)

 

The excitation pattern at the back pupil plane of the excitation objective. 

(c)

 The excitation point spread function 

(PSF) of the hexagonal pattern that illuminates the sample. It is the squared amplitude of the Fourier transform of 
the  pupil function. Inset  shows  x-averaged intensity profile  along the  z  axis. 

(d)

 The  excitation optical  transfer 

function (OTF) of the hexagonal pattern. It is a Fourier transform of the excitation PSF and an auto correlation of 
the pupil function. Different lateral orders (m) are coded by color. Different axial orders (n) are listed as well. 

(e)

 

Detection  PSF 

𝐻(𝒓)

 . 

(f)

  Widefield  detection  OTF 

𝑂̃(𝒌)

 .  It  is  a  Fourier  transform  of  the  detection  PSF.  G-I) 

Structure  illumination  microscopy  (SIM)  imaging  and  reconstruction  process.  In  the  SIM  images 

𝐷

෩(𝒌)

  

(g)

, 

information components for different lateral orders are shifted to be centered at k

x

 = 0. In SIM reconstruction, these 

components are separated 

(h) 

and then shifted back to their correct position in frequency space 

(i)

. 

(j)

 Schematic 

of the overlap regions between different orders in 

𝐷

෩

𝑚

(𝒌)

, left: m = 0 and m =1; middle: m = 0 and m = 2; right: m 

= 1 and m = 2.  

 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

4 
 

The latticeSIM excitation pattern I(

r

) is formed by the interference of multiple beams at the back pupil of 

81 

the excitation objective. In the case of the hexagonal lattice pattern, the six beams at the back pupil (

Fig 1a 

82 

and b

) will interfere and form an excitation pattern at the sample plane that is the squared magnitude  of 

83 

the Fourier transform of the pupil function (

Fig 1c

). Similarly, the excitation optical transfer function 

𝐼̃(𝒌)

  

84 

is the Fourier transform of I(

r

) or the autocorrelation function of the pupil function (

Fig 1d

). As is the case 

85 

for conventional 3D SIM, the excitation pattern can be expressed as a finite sum of “m” components, each 

86 

of which can be separable into functions that depend solely on the lateral or axial coordinates in real space 

87 

or frequency space respectively.

 

88 

𝐼(𝑥, 𝑦, 𝑧) = ∑ 𝐼

𝑚

(𝑧)𝐽

𝑚

(𝑥, 𝑦)

𝑚

  or 

𝐼̃(𝑘

𝑥

, 𝑘

𝑦

, 𝑘

𝑧

) = ∑ 𝐼̃

𝑚

(𝑘

𝑧

)⨂𝐽̃

𝑚

(𝑘

𝑥

, 𝑘

𝑦

)

𝑚

                      (3) 

89 

For hexagonal lattice illumination, the excitation OTF has signal at 5 lateral frequencies and m ranges from 

90 

-2 to +2 as shown in 

Fig 1d

.  

91 

Rewriting equation (1) with equation (2) and the separated components in the excitation PSF (3), it becomes: 

92 

𝐷(𝒓) = (𝐸⨂𝐻)(𝒓) = (𝑆(𝒓)𝐼(𝒓))⨂𝐻(𝒓) = ∑ ∫ 𝐻(𝒓 − 𝒓

′

) 𝑆(𝒓

′

)𝐼

𝑚

(𝑧

′

)𝐽

𝑚

(𝑥

′

, 𝑦

′

)

𝑚

𝑑𝑟′

          (4) 

93 

In the equation above with a spatially invariant PSF, 

r’

 stands for the reference frame of the specimen and 

94 

r-r’

 stands for the reference frame of the objective lenses. When operating the microscope, the excitation 

95 

pattern is kept fixed relative to the detection objective focal plane while the sample is translated along the 

96 

“z” direction to acquire a 3D volume. Therefore, the axial components of the excitation pattern 

𝐼

𝑚

 follow 

97 

the same reference frame as the objectives (same as 

𝐻(𝒓 − 𝒓’)

) rather than the sample, and 

𝐼

𝑚

(𝑧

′

)

 can be 

98 

replaced by 

𝐼

𝑚

(𝑧 − 𝑧

′

)

. We refer the reader to a full discussion in Gustafsson et al

7

 for more information 

99 

about the coordinate reference frames. Equation (4) can then be written as:  

100 

𝐷(𝒓) = ∑ ∫ 𝐻(𝒓 − 𝒓

′

) 𝐼

𝑚

(𝑧 − 𝑧

′

)𝑆(𝒓

′

)𝐽

𝑚

(𝑥

′

, 𝑦

′

)

𝑚

𝑑𝑟

′

= ∑ [(𝐻𝐼

𝑚

) ⊗

𝑚

(𝑆𝐽

𝑚

)](𝒓)

             (5) 

101 

And its Fourier transform 

D

෩(𝒌)

 is  

102 

𝐷

෩(𝒌) = ∑ [𝑂̃(𝒌)⨂𝐼̃

𝑚

(𝑘

𝑧

)] ⋅ [𝑆̃(𝒌)⨂𝐽̃

𝑚

(𝑘

𝑥

, 𝑘

𝑦

)]

𝑚

                                                   (6) 

103 

Where 

𝑂̃(𝒌)

 is the Fourier transform of 

𝐻(𝒓)

 (

Fig 1e and f

), which is the widefield OTF of the detection 

104 

objective.  For  SIM  illumination, 

𝐽

𝑚

(𝑥, 𝑦)

  typically  follows  a  simple  harmonic  where 

𝐽

𝑚

(𝑥, 𝑦) =

105 

𝑒

𝑖(2𝜋𝑚𝒑∙𝒓

𝒙𝒚

+𝑚𝜑)

 and 

𝐽̃

𝑚

(𝑘

𝑥

, 𝑘

𝑦

) = 𝛿(𝒌

𝒙𝒚

− 𝑚𝒑)𝑒

𝑖𝑚𝜑

. Here, 

𝑝

 is the fundamental lateral frequency of the 

106 

illumination pattern, 

𝑚𝑝

 are the m

th

 order harmonics, and 

𝑒

𝑖𝑚𝜑

 defines the lateral phase for J. 

107 

Therefore equation (6) becomes:  

108 

𝐷

෩(𝒌) = ∑ 𝐷

෩

𝑚

(𝒌) = ∑ 𝑂̃(𝒌) ⊗ 𝐼̃

𝑚

(𝒌)𝑒

𝑖𝑚𝜑

𝑆̃(𝒌 − 𝑚𝒑)

𝑚

𝑚

= ∑ 𝑂̃

𝑚

(𝒌)𝑒

𝑖𝑚𝜑

𝑆̃(𝒌 − 𝑚𝒑)

𝑚

       (7) 

109 

Equations 6 and 7 indicate that the resolution is improved by two methods. First, resolution is increased 

110 

axially through 

𝑂̃

𝑚

(𝒌) = 𝑂̃(𝒌) ⊗ 𝐼̃

𝑚

(𝒌).

 The overall OTF becomes a series of transfer functions that are 

111 

the convolution between the widefield detection OTF and the axial part of each excitation OTF order m.  

112 

And second, sample information components 

𝑆̃(𝒌)

 have been shifted laterally into the detection envelope 

113 

by the vector p

m

 (

Fig 1g

). Note that because the high-resolution axial components are already in their correct 

114 

locations  in  frequency  space  (because  the  sample  is  scanned  axially  as  described  above),  the  SIM 

115 

reconstruction process will need to separate the different “m” components of 

𝐷

෩

𝑚

(𝒌)

 (

Fig 1h

) and then shift 

116 

the high frequency components laterally back to their original positions in frequency space (

Fig 1i

), thus 

117 

yielding improved resolution (see Gustafsson et al

7

 for details).  

118 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

5 
 

In  conventional  SIM  imaging,  the  fundamental  frequency 

𝒑

  and  the  lateral  starting  phase 

𝜑

  may  be 

119 

different from when the  transfer functions, 

𝑂̃

𝑚

(𝒌)

 are measured and when the sample is imaged. Thus, 

120 

these parameters are typically fit after data acquisition and during the reconstruction process. This is done 

121 

by examining the overlap regions between different m components of 

𝐷

෩

𝑚

(𝒌)

 in frequency space.  

122 

More specifically, once the separated information components of the data have been isolated and shifted to 

123 

their correct locations in frequency space, the frequency information of the sample 

𝑆̃(𝒌)

 should be identical 

124 

in the overlapping regions. However, as noted in eqn (7) the sample information 

𝑆̃(𝒌)

 in the observed data 

125 

terms 

𝐷

෩

𝑚

(𝒌)

 has also been scaled and phase shifted by a corresponding, order-specific transfer function 

126 

𝑂̃

𝑚

(𝒌)

 as a result of the physical observation process. Thus, the shifted information components 

𝐷

෩

𝑚

(𝒌 +

127 

𝑚𝒑)

 are not directly comparable to each other. In order to compensate for this, we multiply the observed 

128 

data components 

𝐷

෩

𝑚

(𝒌 + 𝑚𝒑)

 by the corresponding transfer function of the other information component 

129 

in the overlap region. For example, in the overlap regions between m = 0 and m = 1, we compare  

130 

𝐷

෩

0

(𝒌 + 0𝒑)𝑂′

෩

1

(𝒌 + 1𝒑)

                                                      (8a) 

131 

and  

132 

𝐷

෩

1

(𝒌 + 1𝒑)𝑂̃′

0

(𝒌 + 0𝒑)

                                                      (9a) 

133 

as shown in (

Fig 1j

). Here 

𝑂̃′

𝑚

(𝒌)

 are the transfer functions obtained when measuring calibration beads at 

134 

the start of an experiment, e.g. 

𝑂̃′

𝑚

(𝒌)

 is equivalent to 

𝐷

෩′

𝑚

(𝒌)

 with  

𝑆̃(𝒌)

 replaced by a delta function. 

135 

Typically for the calibration images, the lateral phase of the excitation pattern, which depends only on the 

136 

relative position of the bead used for measurement, is set to zero. 

𝐷

෩

𝑚

(𝒌)

 is the sample image in frequency 

137 

space, and because each 

𝐷

෩

𝑚

(𝒌)

 already contains a copy of 

𝑂̃

𝑚

(𝒌)

 as described above, eqns (8a) and (9a) 

138 

can each be expanded as  

139 

𝑆̃(𝒌)𝑂̃

0

(𝒌 + 0𝒑)𝑂′

෩

1

(𝒌 + 1𝒑)𝑒

𝑖1𝜑

                                                  (8b) 

140 

and 

141 

𝑆̃(𝒌)𝑂̃

1

(𝒌 + 1𝒑)𝑂′

෩

0

(𝒌 + 0𝒑)𝑒

𝑖0𝜑

                                                   (9b) 

142 

 

143 

If we first assume that 

𝑂̃′

𝑚

(𝒌) = 𝑂̃

𝑚

(𝒌)

, which means that the transfer functions when taking the sample 

144 

image were identical to those obtained when taking the calibration images, then at the correct shift vector 

145 

p, eqns (8) and (9) above will be identical in theory except for a constant phase offset 

𝜑

. In practice and in 

146 

the  presence  of  noise,

 

𝒑

  is  determined  as  the  value  that  maximizes  the  cross  correlation  within  the 

147 

overlapping  region.  At  the  correct  value  for 

𝒑

 ,  the  starting  phase 

𝜑

  associated  with 

𝐷

෩

𝑚

(𝒌)

  can  be 

148 

determined by examining the ratio between eqns (8) and (9): 

149 

R

𝑚

1

,𝑚

2

(𝑚

1

≠𝑚

2

)

=

𝐷

෩

𝑚1

(𝒌+𝑚

1

𝒑)𝑂′

̃

𝑚2

(𝒌+𝑚

2

𝒑)

𝐷

෩

𝑚2

(𝒌+𝑚

2

𝒑)𝑂′

̃

𝑚1

(𝒌+𝑚

1

𝒑)

=

𝑂̃

𝑚1

(𝒌+𝑚

1

𝒑)𝑒

𝑖𝑚1𝜑

𝑆̃(𝒌)𝑂′

̃

𝑚2

(𝒌+𝑚

2

𝒑)

𝑂̃

𝑚2

(𝒌+𝑚

2

𝒑)𝑒

𝑖𝑚2𝜑

𝑆̃(𝒌)𝑂′

̃

𝑚1

(𝒌+𝑚

1

𝒑)

= 𝑒

𝑖(𝑚

1

−𝑚

2

)𝜑

      (10) 

150 

Note this ratio is independent of sample information and is constant throughout the entire overlap region.  

151 

Therefore, 

𝜑

 can be extracted using complex linear regression upon the two terms, and the slope carries the 

152 

information of the starting phase 

𝜑

. 

153 

In contrast to conventional single-objective SIM, in latticeSIM the axial components in 

𝐼̃

𝑚

(𝑘)

 may also 

154 

acquire a phase term that is dependent on 

𝛿𝑧

 – the physical offset  between the detection and excitation 

155 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

6 
 

156 

Figure 2: Excitation and SIM OTFs with different axial offsets.

 

(a)

 Excitation PSF 

𝐼(𝒓)

 in real space. The 

number at the left indicates the offset from the simulated detection objective focal plane. 

(b)

 Excitation OTF 

𝐼̃(𝒌)

.  

in frequency space. The first row shows the magnitude. The rows underneath show the phase under different axial 
offsets. 

(c)

 Separated SIM transfer functions 

𝑂̃

𝑚

(𝒌)

 (same as Fig 1h) showing the  magnitude and phase under 

different excitation pattern axial offsets. 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

7 
 

reference  planes.  In  this  case,  assuming  that  the  illumination  pattern  along  z  also  follows  a  harmonic 

157 

distribution, the axial components of the excitation pattern can be defined as:       

158 

                                          

𝐼̃

𝑚

(𝑘

𝑧

) = ∑ 𝛿(𝑘

𝑧

− 𝑛𝒒)𝑒

𝑖2𝜋(𝛿𝑧∗𝑛𝒒)

𝑛

                                                (11) 

159 

Here 

q

 is the fundamental frequency along the axial direction and n is a function of m. Specifically, as 

160 

shown in 

Fig 1d

 

161 

𝑛 = {

0, ±2  𝑤ℎ𝑒𝑛 𝑚 = ±2

±1, ±3  𝑤ℎ𝑒𝑛 𝑚 = ±1

0, ±2, ±4  𝑤ℎ𝑒𝑛 𝑚 = 0

 

162 

2𝜋(𝛿𝑧 ∗ 𝑛𝒒)

  is  the  phase  shift  in  the  excitation  OTF  that  is  caused  by  the  physical  misalignment 

𝛿𝑧

 

163 

between the excitation pattern and the detection objective focal plane (

Fig 2a and b)

. Because the overall 

164 

OTF  is  the  convolution of  the  detection  OTF  with  the  excitation  OTF  (

Fig  1g

),  any  phase  term  in  the 

165 

excitation OTF manifests in the overall transfer functions of the instrument (

Fig 2c

). Therefore, the amount 

166 

of axial misalignment of the excitation pattern can, in theory, be extracted if we could determine the relative 

167 

contribution  to  the  phase  information  in 

𝐷

෩

𝑚

(𝒌)

  that  was  due  to  the  transfer  functions 

𝑂̃

𝑚

(𝒌)

  when  the 

168 

image was acquired.  

169 

However, the transfer functions 

𝑂̃

𝑚

(𝒌)

 are not typically accessible in raw images, and as with the lateral 

170 

starting  phase  above,  the  axial  offset  may  vary  from  when  the  transfer  functions  are  calibrated  at  the 

171 

beginning of an experiment and when a given image is acquired. For example, as shown in eqn (7), the 

172 

phase of the raw images 

𝐷

෩

𝑚

(𝒌)

 composed of eight beads (right most column in 

Fig 3a

) is a mixture of 

173 

illumination and sample information (

Fig 3a and b

). Therefore, to retrieve the axial misalignment, we need 

174 

to first cancel out the sample information 

𝑆̃(𝒌)

 from the observed image 

𝐷

෩(𝒌)

. This can be achieved by the 

175 

same approach described in eqn (10). If we include an axial offset which leads to phase ramp in 

𝐼̃

𝑚

(𝑘

𝑧

)

 as 

176 

described in eqn (11), and assume that there may be a different axial offset 

𝛿𝑧

 and 

𝛿𝑧

’ when imaging the 

177 

sample or calibration beads respectively, then eqn (10) then becomes  

178 

R

𝑚

1

,𝑚

2

(𝑚

1

≠𝑚

2

)

=

𝑂̃(𝒌+𝑚

1

𝑝)⊗𝐼̃

𝑚1

(𝑘

𝑧

)𝑒

𝑖𝑚1𝜑

𝑆̃(𝒌)𝑂̃(𝒌+𝑚

2

𝒑)⊗𝐼

′

෩

𝑚2

(𝑘

𝑧

)

𝑂̃(𝒌+𝑚

2

𝑝)⊗𝐼̃

𝑚2

(𝑘

𝑧

)𝑒

𝑖𝑚2𝜑

𝑆̃(𝒌)𝑂̃(𝒌+𝑚

2

𝒑)⊗𝐼̃′

𝑚1

(𝑘

𝑧

)

=

179 

∑

𝑂̃(𝒌+𝑚

1

𝒑)⊗𝛿(𝑘

𝑧

−𝑛

1

𝒒)𝑒

𝑖(2𝜋𝛿𝑧∗𝑛1𝒒+𝑚1𝜑)

𝑛1

∑

𝑆̃(𝒌)𝑂̃(𝒌+𝑚

2

𝒑)⊗𝛿(𝑘

𝑧

−𝑛

2

𝒒)𝑒

𝑖(2𝜋𝛿𝑧′∗𝑛2𝒒+𝑚2𝜑)

𝑛2

 

∑

𝑂̃(𝒌+𝑚

2

𝒑)⊗𝛿(𝑘

𝑧

−𝑛

2

𝒒)𝑒

𝑖(2𝜋𝛿𝑧∗𝑛2𝒒+𝑚2𝜑)

𝑛2

∑

𝑆̃(𝒌)𝑂̃(𝒌+𝑚

1

𝒑)⊗𝛿(𝑘

𝑧

−𝑛

1

𝒒)𝑒

𝑖(2𝜋𝛿𝑧′∗𝑛1𝒒+𝑚1𝜑)

𝑛1

=

180 

𝑆̃(𝒌) ∑

𝑂̃(𝒌+𝑚

1

𝒑+𝑛

1

𝒒)𝑒

𝑖(2𝜋𝛿𝑧∗𝑛1𝒒+𝑚1𝜑)

𝑛1

∑

𝑂̃(𝒌+𝑚

2

𝒑+𝑛

2

𝒒)𝑒

𝑖(2𝜋𝛿𝑧′∗𝑛2𝒒+𝑚2𝜑)

𝑛2

 

𝑆̃(𝒌) ∑

𝑂̃(𝒌+𝑚

2

𝒑+𝑛

2

𝒒)𝑒

𝑖(2𝜋𝛿𝑧∗𝑛2𝒒+𝑚2𝜑)

𝑛2

∑

𝑂̃(𝒌+𝑚

1

𝒑+𝑛

1

𝒒)𝑒

𝑖(2𝜋𝛿𝑧′∗𝑛1𝒒+𝑚1𝜑)

𝑛1

                                                   (12) 

181 

Note that here, we have expanded 

𝑂̃

𝑚

(𝒌) = 𝑂̃(𝒌) ⊗ 𝐼̃

𝑚

(𝑘

𝑧

)

. We also use 

𝐼̃

𝑚

(𝑘

𝑧

)

 and 

𝐼′

෩

𝑚

(𝑘

𝑧

)

 to denote 

182 

the axial component of illumination when imaging the sample and the calibration beads respectively. Here 

183 

we assume there is no phase contributed from the widefield detection OTF, as it can be corrected by proper 

184 

alignment  or  adaptive  optics.  Note  that 

R

𝑚

1

,𝑚

2

(𝑚

1

≠𝑚

2

)

  is  valid  only  in  regions  where 

𝐷

෩

𝑚

1

(𝒌 +

185 

𝑚

1

𝒑)𝑂̃′

𝑚

2

(𝒌 + 𝑚

2

𝒑)

  and 

𝐷

෩

𝑚

2

(𝒌 + 𝑚

2

𝒑)𝑂′

෩

𝑚

1

(𝒌 + 𝑚

1

𝒑)

  are  non-zero,  which  are  indicated  by  the 

186 

magnitude of the produts shown in 

Fig 3a 

(m

1 

= 0 and m

2

 = 1). For a specific combination of (m

1

, n

1

) and 

187 

(m

2

, n

2

) the residual phase, which is the phase of 

R

𝑚

1

,𝑚

2

(𝑚

1

≠𝑚

2

)

, can be expressed as 

188 

Φ

𝑚

1

,𝑛

1

,𝑚

2

,𝑛

2

(𝑚

1

≠𝑚

2

)

= 2𝜋𝒒(𝑛

1

− 𝑛

2

)(𝛿𝑧 − 𝛿𝑧′) + (𝑚

1

− 𝑚

2

)𝜑

                       (13) 

189 

Eqn (13) is the sum of two terms. The first term is determined by the axial offset between the excitation 

190 

and detection foci, will be zero if 

𝛿𝑧 = 𝛿𝑧′

 (

Fig 3b and 3c

), and is a function of 

𝑘

𝑧

 (because it contains the 

191 

𝑘

𝑧

-oriented vector 

𝒒

 . The second term is due to the lateral phase 

𝜑

 in the illumination pattern and is a 

192 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

8 
 

193 

Figure 3: Residual phase in OTF overlaps reflects the axial offset.

 

(a)

 Columns 1-3: Magnitude of the zeroth 

information component (

𝐷

෩

0

), the first SIM transfer function (

𝑂̃′

1

) after being shifted to the correct position in 

frequency space, and the magnitude of the product of the two. Here, the SIM image is composed of eight beads. 
Columns  4-6:  Magnitude  of  the  first  information  component  in  SIM  image  after  being  shifted  to  the  correct 
position in frequency space (

𝐷

෩

1

), the zeroth SIM transfer function (

𝑂̃′

0

), and the magnitude of the product of the 

two. 

(b)

 The phase of the corresponding columns in (a). In this case, both the SIM image 

𝐷

෩

𝑚

(𝒌)

 and transfer 

functions  (

𝑂̃′

𝑚

(𝒌)

),  have  been  simulated  with  a  0.4  π  axial  offset  between  the  excitation  and  detections. The 

rightmost column shows the residual phase as measured via the ratio in eqn (12). 

(c)

 Same as 

(b) 

but for in this 

case, the transfer function 

𝑂̃′

𝑚

(𝒌)

, does not have the corresponding 0.4 π axial offset as 

 𝐷

෩

𝑚

(𝒌)

.  

(d)

 Residual 

phase as computed via eqn (12) for different axial offsets between the excitation and detection planes in simulated 
SIM images (different columns) and simulated transfer functions (different rows).  

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

9 
 

194 

constant  across  the  overlap  region  (the  same  as  eqn  (10)). This  has  two  important  implications  for  the 

195 

reconstruction process. The first is that it creates a need to explicitly account for the axial phase offset 

196 

during reconstruction. For light sheet illumination, the delta functions of the hexagonal lattice in the pupil 

197 

are extended into lines or Gaussian profiles along the kz direction, corresponding to axial confinement of 

198 

the light sheet at the sample. This complicates the simplified version of residual phase shown in eqn (13) 

199 

and makes it challenging to derive an analytical solution. In practice, to extract the axial offset 

𝛿𝑧

 from the 

200 

sample images, we can collect a gallery of transfer functions with different known axial offsets 

𝛿𝑧′

, and 

201 

then  identify  for  which  measured  offset 

Φ

𝑚

1

,𝑚

2

  reaches  a  minimum  value  at 

𝛿𝑧′ = 𝛿𝑧

  (

Fig  3d

).  The 

202 

corresponding transfer functions can then be used to reconstruct the SIM images and will yield minimized 

203 

artifacts due to axial misalignment between the excitation and detection focus. The second implication of 

204 

eqn (13) is that it shows that the conventional method for estimating the lateral phase offset 

𝜑

 as described 

205 

in eqn (10) via complex linear regression will fail as the residual phase 

Φ

𝑚

1

,𝑚

2

 is no longer constant in the 

206 

overlap region as assumed by conventional SIM reconstruction. As illustrated in 

Fig 4

, the residual phase 

207 

Φ

 is constant only when the first term in 

Φ

 is zero (

𝛿𝑧 = 𝛿𝑧

′

, 

Fig 4a

). Whenever 

𝛿𝑧 ≠ 𝛿𝑧

′

,  

Φ

 will depend 

208 

on 

𝒒(𝑛

1

− 𝑛

2

)

 . This  means  that  the  ratio 

R

𝑚

1

,𝑚

2

  is  no  longer  a  constant  and 

𝐷

෩

𝑚

1

(𝒌 + 𝑚

1

𝒑)𝑂′

෩

𝑚

2

(𝒌 +

209 

𝑚

2

𝒑)

  is  no  longer  linearly  related  to 

𝐷

෩

𝑚

2

(𝒌 + 𝑚

2

𝒑)𝑂̃′

𝑚

1

(𝒌 + 𝑚

1

𝒑)

  .  Therefore,  complex  linear 

210 

regression applied in conventional SIM reconstruction will fail. In the following sections, we address both 

211 

of these aspects, by generating a 2D map of residual phase 

Φ

𝑚

1

,𝑚

2

 that is composed of 

𝛿𝑧

 and 

𝜑

 and use 

212 

the minimum to simultaneously extract the axial and the lateral offset needed for proper reconstruction (

Fig 

213 

5a

).  

214 

2.2 Simulation and image analysis 

215 

2.2.1 Simulation of structural illumination microscopy images 

216 

Figure 4: Mixing between axial and lateral phase terms in the overlap regions.

 

(a)

 Residual phase computed 

via eqn (12) when both the SIM image 

𝐷

෩

𝑚

(𝒌)

 and simulated transfer functions 

𝑂̃′

𝑚

(𝒌)

, have a 0.4 π axial offset 

between the excitation and detection objectives. Different columns show the effects of different lateral offsets in 
the excitation pattern 

𝐼̃(𝒌)

 used when simulating the data 

𝐷

෩

𝑚

(𝒌)

 and transfer functions 

𝑂̃′

𝑚

(𝒌)

. 

(b)

 Same as 

(a)

 

but when utilizing a simulated transfer function with no axial offset. 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

10 
 

All simulated datasets were constructed in Matlab (The Mathworks) using the previously published code 

217 

base

4

 . To adapt this code to generate SIM images, we generated the detection point spread function using 

218 

the Debye approximation. Specifically, we first simulated the back pupil of a cone in a sphere with NA=1.0 

219 

and a refractive index of 1.33, and then Fourier transformed it into real space. We simulated the excitation 

220 

point spread function following the similar approach but using a pupil of six evenly spaced vertical lines 

221 

within an annular ring (

Fig 1b, 

NA = 0.55/0.5). We simulated five copies of excitation PSFs whose lateral 

222 

starting phase offset 

𝜑

 evenly covers the entire period by introducing a phase gradient along k

x

 in the pupil 

223 

function. Because the physics of image formation are continuous, we up sampled by a factor of 2 when 

224 

simulating the forward imaging process. The excitation OTF of the hexagonal pattern was dissected into 

225 

different lateral orders as in eqn (3). We then followed eqn (5) and (6) to simulate the raw SIM images. 

226 

Briefly speaking, the axial components of the excitation PSF 

𝐼

𝑚

(𝑟

𝑧

)

 were multiplied with the detection PSF 

227 

𝐻(𝑟)

  and  the  lateral  components  of  the  excitation  OTF 

𝐽

𝑚

(𝑟

𝑥

, 𝑟

𝑦

)

  were  multiplied  with  the  Fourier 

228 

transform of sample information 

𝑆(𝒓)

. The Fourier transform of 

𝐻𝐼

𝑚

(𝒓)

 and 

𝐽

𝑚

𝑆(𝒓)

 were then multiplied 

229 

in frequency space and Fourier transformed back to real space to generate raw images 

𝐷

𝑚

(𝒓)

. Different 

230 

orders of 

𝐷

𝑚

(𝒓)

 were then summed to form the final raw image 

𝐷(𝒓)

 which was downsampled to replicate 

231 

image discretization onto camera pixels. To simulate different axial offsets of the excitation pattern, we 

232 

applied a phase gradient along k

z

 respectively in the pupil function when we simulated the excitation PSF. 

233 

Further details and a step-by-step walkthrough of the simulation process are provided in a Matlab Live 

234 

script included in the accompanying Github repository. 

235 

2.2.2 Simulation of randomly distributed beads 

236 

We simulated 3D volumes of randomly distributed bead images using the approach described in Shi et al

4

. 

237 

In brief, we first simulated a 3D volume with points randomly distributed as 

𝑆(𝒓)

 in eqn (6). We then follow 

238 

the pipeline above to simulate the corresponding SIM images. To simulate images of different SNR, we 

239 

added a Gaussian noise floor in the simulated images. 

240 

2.2.3 SIM reconstruction 

241 

SIM  reconstruction  was  performed  using  code  from  cudasirecon

15

,  following  algorithm  described  in 

242 

Gustafsson  et  al

7

  and  using  the  parameters  provided  in  the  settings  file  in  the  accompanying  Github 

243 

repository.  

244 

2.3 Experiments 

245 

2.3.1 Microscopy setup 

246 

The optical path for latticeSIM is based on a modified version of the instrument described in Chen et al

2

. 

247 

Key modifications relevant to this work are the use of a 0.6 NA excitation lens 404 (Thorlabs, TL20X-

248 

MPL), and 1.0 NA detection lens (Zeiss, Objective W “Plan-Apochromat” x20/1.0, model # 421452-9800). 

249 

LatticeSIM was operated with a hexagonal lattice pattern with a maximum and minimum NA of 0.55 and 

250 

0.5 at the back pupil respectively. This pattern yield a period of 1.202 µm in x and 2.13 µm in z. For each 

251 

z plane, we collected five copies of images, each with illumination pattern shift 0.24 µm in x and covering 

252 

the entire 1.202 µm period. 

253 

2.3.2 Immunofluorescence 

254 

We cultured retinal pigment epithelium (RPE) cells (RRID: CVCL_4388, ATCC) in Dulbecco’s Modified 

255 

Eagle Medium (Gibco 11965-092) with 10% FBS (VWR: 1500-050) and 1% (v/v) 10,000 U/ml Penicillin-

256 

Streptomycin  (Gibco  15140-122).  For  fixed  cell  imaging,  we  incubated  RPE  cells  with  either  250 nM 

257 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

11 
 

mitotracker orange (Thermo Fisher, M7510) in culture media for mitochondria staining or a 1000x dilution 

258 

manufacturer recommended stock concentration of SPY555-DNA (Cytoskeleton inc.) in culture media for 

259 

histone staining for 30 min. We then fixed cells with 4% Paraformaldehyde (Electron Microscopy Sciences, 

260 

15710) and 8 nM/ml sucrose (Sigma, S7903) in cytoskeleton buffer (composed of 10 mM MES, 138 mM 

261 

KCl, 3 mM MgCl and 2 mM EGTA) for 20 min at room temperature.  

262 

2.3.3 Hydrogel preparation 

263 

Polyacrylamide substrates containing fluorescent beads were prepared as described in Tse and Engler et 

264 

al

16

.  Briefly,  a  mix  of  40  %  acrylamide  and  2%  Bis-Acrylamide  was  prepared  in  10  mL  diH20  to  an 

265 

estimated  stiffness  of  8  kPA.  1/1000  by  volume  of  carboxylate  red  fluorosphere  fluorescent  beads 

266 

(580 nm/605 nm excitation/emission wavelength, Thermo Fisher, F8801) were added to 495 microliters of 

267 

the mix and placed in a vacuum dessicator for 15 minutes to reduce dissolved oxygen before addition of 5 

268 

uL  of  10%  by  weight  of APS  (freshly  prepared  in  diH

2

O)  and  0.5  uL  of  TEMED.  Immediately,  30 

269 

microliters of solution was carefully pipetted onto a 25mm glass coverslip that was previously activated 

270 

with 97% APTES and 0.5% Glutaraldehyde and then a 12 mm glass coverslip was placed on top of the 

271 

solution. After  polymerization,  the  coverslip  sandwich  was  immersed  in  diH

2

O  water  for  five  minutes 

272 

before a razor blade was used to carefully peel the 12 mm glass coverslip off of the 25 mm coverslip. The 

273 

PAA substrate on 25mm coverslip was then immersed in diH20 and stored in a 4

o 

C fridge until use. 

274 

2.3.4 Measurements of light sheet offset in hydrogel 

275 

To  measure  the  extent  to  which  a  light  sheet  is  deflected  when  imaging  through  thick  hydrogels,  we 

276 

embedded  100 nm  diameter  red  fluorescent  beads  (580 nm/605 nm  excitation/emission  wavelength, 

277 

Thermo Fisher, F8801) inside the hydrogel. To measure the light sheet offset at different depth in the sample, 

278 

we followed a similar approach as described in Shi et al

4

. Briefly speaking, we first axially scanned the 

279 

excitation profile relative to the detection focal plane and plotted the integrated fluorescence signal from a 

280 

small (3 pixel) region around each bead in the field of view. The peak of this plot defines the center of the 

281 

excitation  profile  relative  to  the  position  of  each  bead  underneath  the  sample. We  then  determined  the 

282 

position of each bead relative to the detection objective focal plane by scanning the coverslip together with 

283 

the  light  sheet  illumination  along  the  optical  axis  of  the  detection  objective  (equivalent  to  widefield 

284 

illumination). The  offset  of  the  excitation  pattern  relative  to  the  detection  objective  focal  plane  is  then 

285 

computed from these plots by comparing the positions of the light sheet relative to the bead and the position 

286 

of the bead position relative to the focal plane. 

287 

3 

Results

 

288 

3.1 Minimizing residual phase yields the transfer functions with the correct axial offset in simulation 

289 

To test whether our methodology can reliably extract the axial misalignment of the excitation pattern from 

290 

simulated  images,  we  first  simulated  a  transfer  function  library 

𝑂̃′

𝑚

(𝒌)

  and  bead  images  (

𝐷

෩(𝒌)

 )  with 

291 

different  excitation  pattern  axial  offsets.  We  quantify  the  sum  of  residual  phase  in  the  overlap  region 

292 

between different orders in 

Φ

01

 and 

Φ

12

 as the metric to minimize. As shown from eqn (12), the phase of 

293 

Φ

01

 and 

Φ

12

 will be a function of axial offset 

𝛿𝑧

′

 and the lateral offset 

𝜑

. To determine both the axial offset 

294 

and lateral phase simultaneously, we search for the minimum in 

Φ

01

 and 

Φ

12

 in a 2D residual phase map 

295 

corresponding to each pairing of axial and lateral offset (

Fig 5a

). As illustrated in 

Fig 5b

, the axial offset 

296 

corresponding  to  the  minimum  value  in  the  2D  residual  phase  map  matches  the  misalignment  that  we 

297 

introduced  in  simulation.  Moreover,  we  noticed  that  as  the  signal  to  noise  ratio  (SNR)  decreases,  the 

298 

modulation depth of the residual phase array also decreases, making it harder to distinguish the true light 

299 

sheet axial focus from the position that is one full period off (

Fig 5b

).  

300 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

12 
 

301 

Figure 5: Retrieving the axial offset between excitation and detection planes in simulated data.

 

(a)

 2D maps 

of  the  summed  residual  phase  in  the  overlap  regions  with  different  simulated  axial  (vertical  axis)  and  lateral 
(horizontal  axis)  offsets  in  the  transfer  functions 

𝑂̃′

𝑚

(𝒌)

  used  for  reconstruction. The  simulated  applied  axial 

offset in the SIM image 

𝐷

෩

𝑚

(𝒌)

 is shown on the top of each image. 

(b)

 Line profiles in 

(a)

 under different signal 

to noise ratios (SNR) assuming that the lateral offset between 

𝐷

෩

𝑚

(𝒌)

  and 

𝑂̃′

𝑚

(𝒌)

 is zero. Different colors indicate 

different applied axial offset in the SIM image as indicated by the dashed lines in 

(a)

. Blue: no axial offset, red: 

0.4 π axial offset, orange: 0.8 π axial offset. 

(c)

 Line profiles in (a) under different SNR when the lateral offset 

between 

𝐷

෩

𝑚

(𝒌)

    and 

𝑂̃′

𝑚

(𝒌)

  is  either  zero  (blue)  or  π  (green).  This  illustrates  the  residual  phase  differences 

between the optimal pattern and the local minimum that is ½ period off both axially and laterally. 

(d)

 Reconstructed 

SIM image of four beads that were simulated with a -0.4 π axial offset between the excitation illumination and the 
detection focal plane. The different columns show the effects of reconstructing with transfer functions that assume 
no axial offset (left), the correctly identified axial offset (middle), and an axial offset that is ½ period off laterally 
and axially (right). 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

13 
 

Another caveat of this methodology is that the aligned (blue line in 

Fig 5c

) and pi offset along axial and 

302 

lateral direction (green line in 

Fig 5c

) are both local minimums in the 2D phase map. The difference between 

303 

the two minimum also decreases as the SNR decreases (

Fig 5c, blue and green curves

). This means that 

304 

with  increasing  noise,  our  method  will  have  trouble  distinguishing  between  transfer  functions  that  are 

305 

laterally and axially offset by half of a period rather than  honing in on the correct axial offset. We next 

306 

tested how this will affect the performance of SIM reconstruction. We simulated an image of 8 beads whose 

307 

excitation axial focal plane is 0.4 π below the detection focal plane and we reconstructed this simulated 

308 

image with the transfer functions that generated the minimum variance in residual phase (– 0.4 π  offset) or 

309 

the  transfer  functions  that  are  a  half  a  period  off  axially  (0.6  π  offset).  As  shown  in

  Fig  5d

,  both 

310 

reconstructed  images  show  minimum  artifacts  compared  with  the  image  reconstructed  with  calibration 

311 

transfer functions that did not account for axial misalignment. For axially periodic illumination patterns, 

312 

there  will  be  no  difference  between  the  two  minimums  as  they  represent  different  nodes  in  the  lattice. 

313 

However, the Gaussian envelope associated with the light sheet confinement differentiates these two local 

314 

minimums and may cause noticeable artifacts for tightly confined beams. Therefore, in practice to minimize 

315 

this effect in the experimental data, we limited the lateral offset search range for minimum between -π/2 to 

316 

π/2.  

317 

3.2 Validation with fluorescent beads 

318 

After testing the approach via simulations, we next experimentally validated it with fluorescent beads. We 

319 

deliberately introduced a known axial offset between the lattice light sheet and the detection objective focal 

320 

plane, and tested whether the minimum position in the 2D phase map could recover the applied offset. As 

321 

illustrated in 

Fig 6a

, the minimum position in the 2D phase map within the -π/2 to π/2 lateral phase offset 

322 

range (indicated by the red asterisks in 

Fig 6a

) matches the introduced axial offset, thus demonstrating that 

323 

our simulated results also transfer over to experimental datasets. In latticeSIM, the shape of the illuminated 

324 

lattice  will  vary  as  the  beam  diverges  along  the  propagation  direction  of  the  beam.  Therefore,  after 

325 

validating  that  the  method  works  when  the  sample  is  centered  along  the  propagation  direction  of  the 

326 

excitation pattern, we next tested the performance when the sample is displaced along this axis (

Fig 6b-h

). 

327 

We extracted the axial position of the minimum in the 2D phase map and compared the predicted axial 

328 

offsets (blue circles in 

Fig 6 c, e and g

) with those that were applied experimentally (red dashed lines). We 

329 

found that at the propagation focal position (

Fig 6c, 

orange line

 

in

 Fig 5b

) or 5 µm off from the propagation 

330 

focal position (

Fig 6e, 

green line in

 Fig 5b

), we can successfully retrieve the axial offset within the range 

331 

of 1.2 µm above or below the detection focal plane (one full lattice period along the axial direction is 2.13 

332 

µm), as the blue circles matched well with the red dashed lines. We investigated the performance of SIM 

333 

reconstruction using the predicted transfer function from our methods. As shown in 

Fig 6d

 

and 6f

, the raw 

334 

lattice  light  sheet  images  with  a  600  nm  axial  offset  between  the  focal  plane  of  the  excitation  and  the 

335 

detection objectives have clear ghost copies (YZ MIP in the first column of 

Fig 6d and 6f)

, and similar 

336 

effects were observed in the SIM images that were reconstructed with “zero-offset” transfer functions (the 

337 

2

nd

 column of 

Fig 6d and 6f

). The reconstructed images using transfer functions that were generated with 

338 

the computationally predicted excitation offset (y values of blue circles in 

Fig 6c

 and 

Fig 6e

, reconstructed 

339 

images  shown  in  the  3

rd

  column  of 

Fig  6d  and  6f

)  yield  a  less  aberrated  image.  Moreover,  images 

340 

reconstructed  with  transfer  functions  that  are  half  a  period  off  axially  and  laterally  from  the  predicted 

341 

positions (green crosses in 

Fig 6a and Fig 6c inset

) also yield comparable quality (

Fig 6d and f

, 4

th

 column).  

342 

However, we also noticed that when imaging with an excitation pattern that is 10 microns away from the 

343 

focus along the beam propagation direction (

Fig 6g and h

, blue line in 

Fig 6b

), the predicted axial offset 

344 

locked in on one that is a half period off laterally and axially (

Fig 6g

)

.

 We suspect that this is because the 

345 

aberrations in the excitation pattern for this condition actually represent a combination of a linear phase 

346 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

14 
 

347 

Figure  6:  Retrieving  the  axial  offset  between  excitation  and  detection  planes  in  experimental  data  with 
point-like objects.

 

(a)

 2D maps of the summed residual phase in the overlap regions with different experimentally 

obtained  axial  (vertical  axis)  and  lateral  (horizontal  axis)  offsets  in  the  transfer  functions 

𝑂̃′

𝑚

(𝒌)

  used  for 

reconstruction. The applied axial offset in the experimentally obtained SIM data is shown on the top of each image. 
The red (*) show the minimum residual phase measured between -0.5 π to 0.5 π lateral offset. The green (x) shows 
the local minima that is located ½ period off axially and laterally. 

(b)

 Different offsets in the excitation pattern 

along the beam propagation direction. Orange: no offset, green: 5 µm offset, blue: 10 µm offset. 

(c)

 Comparison 

between the applied (horizontal axis) and predicted (vertical axis) axial offset between the excitation and detection 
focal planes in SIM image taken with the sample located at the center of the beam (orange line in 

(b)

). Inset shows 

the illumination pattern 

𝐼(𝒓)

. Red (*) and green (x) correspond to the two minima in 

(a)

. Scale bar = 5 µm. 

(d)

 

Raw and reconstructed SIM images of fluorescent beads taken under the same settings as in 

(c)

 and with a -600 

nm axial offset between the excitation and detection focal planes. The 1

st

 column shows the raw image, the 2

nd

 

column shows the image reconstructed with transfer functions using the correctly predicted axial offset (-600 nm), 
the 3

rd

 column shows the image reconstructed with transfer functions whose excitation and detection focal planes 

are aligned, the 4

th

 column show the image reconstructed with transfer functions that utilize an axial offset that is 

½ a period off from the predicted value (i.e. 500 nm vs. -600 nm). Scale bar = 2 µm. 

(e, f)

 same as 

(c)

 and 

(d)

 but 

images are taken with 5 µm offset from the beam center along the propagation direction. 

(g, h)

 same as 

(c)

 and 

(d)

 

but images are taken with 10 µm offset from the beam center along the propagation direction. 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

15 
 

ramp due to the axial beam offset and a defocus phase term due to the propagation offset. A failure to 

348 

account for the defocus phase term likely reduced the ability to distinguish between the two local minima 

349 

that are one-half period away from each other. Further, as in 

Fig 6h

, images reconstructed with transfer 

350 

functions having the correct axial offset (3

rd

 column in 

Fig 5h

) or half a period off (4

th

 column in 

Fig 5h

) 

351 

both yield symmetric side lobes in the YZ max intensity projection (MIP). However, we also noticed that, 

352 

even at the corrected axial focus, these reconstructed images were more aberrated compared with the ones 

353 

in 

Fig 6d

 and 

f 

where the sample was at the propagation focus of the light sheet. We believe that this is 

354 

likely because the structured illumination pattern is more  distorted compared with the ones at the focal 

355 

position  or  5  µm  off  from  the  focal  position.  Therefore  the  weighting  among  different  frequency 

356 

components of 

𝑂̃

𝑚

(𝒌)

  is different from 

𝑂̃′

𝑚

(𝒌),

 which will yield artifacts during the Wiener deconvolution 

357 

step in image reconstruction. However, the fact that the side lobes are symmetric in 

Fig 6h 

still

 

indicated 

358 

that our method can still successfully predict the amount of axial offset given the raw image.  

359 

3.3 Validation with adherent cells 

360 

In order to benchmark the performance of our method on biological samples, we imaged two subcellular 

361 

structures in RPE cells: mitochondria and nuclei. As illustrated in 

Fig 7a and b

, our method can successfully 

362 

retrieve the introduced axial excitation offset in these two structures over the range of -1.2 µm to +1.2 µm. 

363 

Similar to our benchmark with beads, raw lattice light sheet images taken with a 600 nm offset between the 

364 

excitation focal plane and the detection focal plane show ghost copies in the YZ MIP, and the same ghost 

365 

copies appeared in the reconstructed images that were processed with “zero-offset” transfer functions (

Fig 

366 

7c and d

, 1

st

 and 2

nd

 columns). Moreover, using transfer functions with the correctly predicted axial offset 

367 

again  yielded  an  image  with  minimal  aberration  (

Fig  7c  and  d, 

3

rd

  column).  The  same  trends  can  be 

368 

observed  in  linecuts  of  the  image  power  spectrums  where  the  SIM  image  reconstructed  with  the 

369 

corresponding transfer functions (with or without axial offset between the excitation and detection focal 

370 

planes, red and blue curves in 

Fig 7e

) have better high-frequency support compared to SIM images that 

371 

were reconstructed with incorrect transfer functions. Overall, these results highlight that our method can 

372 

successfully retrieve the axial offset from the raw latticeSIM images and yield reconstructions with minimal 

373 

aberrations even when imaging complex 3D structures in cells.  

374 

Another factor that will affect the performance of our method is SNR. Because SNR may be low when 

375 

imaging biological samples where phototoxicity and photobleaching need to be minimized, we tested our 

376 

methods with cellular mitochondria using different laser powers. As shown in 

Fig 7f

, the accuracy of our 

377 

approach did not degrade substantially as the applied laser power decreased. This indicated that our method 

378 

is robust across SNR, at least over the range measured between 4 to 25.  

379 

3.4 Validation with fluorescent beads in 3D hydrogel 

380 

Thus far, we’ve validated that our method can posteriorly extract the axial offset of the excitation pattern 

381 

from raw SIM images of beads and adherent cells. However, these structure are still relatively  thin. To 

382 

address  how  our  algorithm  would  perform  in  thicker  samples,  we  next  tested  its  performance  using 

383 

fluorescent  beads  embedded  within  thick  3D  hydrogels.  Because  beads  in  the  imaged  hydrogels  span 

384 

multiple locations along the light sheet propagation direction and to exclude possible aberrations from this 

385 

aspect (covered in 

Fig 6)

, we only include beads illuminated by ±5µm within the focus along the light sheet 

386 

propagation direction when computing the axial offset of the beam. To quantitatively validate whether the 

387 

prediction  from  our  methodology  is  correct  and  assess  additional  artifacts  from  imaging  through  the 

388 

hydrogel, we also independently measured the offset between the excitation focus (determined by the axial 

389 

profile  of  the  lattice  light  sheet)  and  the  detection  focus  (determined  by  the  axial  profile  of  the  bead 

390 

illuminated by widefield illumination). As shown in 

Fig 8a

, our method can correctly extract the sample 

391 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

16 
 

392 

Figure 7 Demonstration of method with adherent cells.

 

(a, b)

 Comparisons between the experimentally applied 

(horizontal axis) and computationally predicted (vertical axis) axial offset between the excitation and detection 
focal  plane  when  imaging  cellular  mitochondria 

(a)

  and  the  cell  nucleus 

(b)

. 

(c)

  Raw  and  reconstructed  SIM 

images of mitochondria taken with the cell aligned at beam propagation focus (orange line in 

Figure 6b

)) and with 

a  -600  nm  axial  offset  between  the  excitation  and  detection  focal  planes.  The  1

st

  column  shows  the  effective 

dithered lattice image by summing the images from each of the 5 lateral phase steps, the 2

nd

 column shows the 

image reconstructed with transfer functions whose excitation and detection focal planes are aligned, and the 3

rd

 

column shows the image reconstructed with transfer functions that used a computationally identified axial offset 
of -600 nm. Scale bar = 5 µm. Insets show a zoomed in view of the red-box, inset scale bar = 2 µm. 

(d)

 Same as 

(c)

, but with images of the cell nucleus. 

(e)

 Linecuts of the power spectrums for the 5-phase summed raw images 

(black), and images that were acquired and reconstructed under the following settings: 

𝐷

෩

𝑚

(𝒌)

 = 0 nm and 

𝑂̃′

𝑚

(𝒌)

 

= 0 nm (red), 

𝐷

෩

𝑚

(𝒌)

 = -600 nm and 

𝑂̃′

𝑚

(𝒌)

 = 0 nm (green),

 𝐷

෩

𝑚

(𝒌)

 = -600 nm and 

𝑂̃′

𝑚

(𝒌)

 = -600 nm (blue).

 (f)

 

Comparisons  between  the  applied  (circles)  and  predicted  (crosses)  axial  offsets  between  the  excitation  and 
detection focal plane in images of mitochondria taken with different laser power at the back pupil of the excitation 
objective. The test was run at three different experimentally applied offsets: -600 nm (orange), 0 nm (cyan), and 
+600 nm (purple).  

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

17 
 

induced excitation axial offset within 5 µm below the hydrogel surface. However, our method tends to 

393 

overestimate this offset for beads more than 10 µm below the hydrogel surface. This mismatch is likely 

394 

attributed  to  the  distortion  of  the  illumination  pattern  (and  possibly  the  detection  PSF)  caused  by  the 

395 

hydrogel refractive index mismatch with the media (

Fig 8b

). The excitation aberration becomes visually 

396 

apparent when the depth is larger than 10 µm. Therefore, the assumption of our method that, other than 

397 

axial or lateral translations, the same excitation pattern and detection PSFs are applied to take the both the 

398 

transfer function library 

𝑂̃′

𝑚

(𝒌)

 and the sample images (

𝐷

෩(𝒌)

 is no longer valid.  

399 

 

400 

4 

Discussion 

401 

In this paper, we introduce a posterior method for extracting the axial offset between the excitation light 

402 

sheet  and  the  detection  focal  plane  in  latticeSIM.  We  validated  this  method  through  simulations  and 

403 

experiments, employing fluorescent beads, adherent cells, and 3D hydrogels. Our demonstrations illustrate 

404 

that identifying the transfer functions with the same retrieved axial offset as that of the raw SIM image 

405 

minimizes  artifacts  in  the  reconstructed  images.  Overall,  this  approach  enables  posterior  correction  of 

406 

system or sample-induced axial offsets in latticeSIM. Importantly, it only necessitates a gallery of transfer 

407 

functions  with  varying  axial  offsets  that  can  be  acquired  experimentally  or  computationally  generated, 

408 

without the need for additional optical components in the microscope. 

409 

One caveat of our method is that with decreasing SNR, it can become challenging to differentiate between 

410 

the axial focal position of the light sheet and the position that is half a period off (see 

Fig 5a

 and 

Fig 6a

). 

411 

This challenge is particularly pronounced for hexagonal lattice patterns with a small difference between the 

412 

minimum and maximum NA of the bounding pupil mask. The x-averaged axial intensity profile shown in 

413 

Fig 1c

 and 

Fig 6c

 inset reveals that the center peak (representing the true axial focal position) and the two 

414 

side lobes (representing axial positions that are half a period off) possess similar magnitudes. Consequently, 

415 

this explains why images reconstructed with the correct axial offset or those shifted by half a period exhibit 

416 

Figure 8

 

Demonstration of method in 3D hydrogels.

 

(a)

 Comparison between the experimentally measured (red 

dashed lines) and computationally predicted (blue circles) axial offset between the excitation and detection focal 
plane in images of fluorescent beads taken at different depths in a 3D polyacrylamide hydrogel. In this case, no 
offset  was experimentally applied, but the hydrogel introduced a shift in the excitation pattern that varies as a 
function of depth. 

(b)

 Experimentally measured excitation pattern (

𝐼(𝒓)

) taken at different depths in the hydrogel. 

Scale bar = 5 µm.  

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

18 
 

comparable image qualities. We expect that lattice patterns with more pronounced differences in intensity 

417 

between the center and side lobes (such as a square lattice or a hexagonal lattice with a larger N.A. gap) 

418 

will exhibit greater disparities between the two minima corresponding to the center peak and the side lobes, 

419 

making them easier to distinguish via our approach, but also more sensitive to artifacts when it fails and 

420 

inaccurately identifies a half-period shifted pattern. 

421 

Another limitation of our approach is that it assumes that the same illumination pattern is applied in both 

422 

the SIM  image  and  during  calibration  of the  transfer  function  library. This  necessitates that,  other than 

423 

translational shifts, the OTFs of the excitation pattern and detection objective remain identical between the 

424 

two instances; failure to meet this assumption can result in artifacts during reconstruction. For example, 

425 

alterations in the magnitude distribution within the excitation OTF relative to that of the transfer function 

426 

library will lead to incorrect normalization during SIM reconstruction and introduce artifacts. Furthermore, 

427 

sample-induced aberrations that cause distortion of the lattice pattern will result in erroneous predictions 

428 

by  our  method,  as  demonstrated  in  the  3D  hydrogel  where  aberrations  induced  by  a  refractive  index 

429 

mismatch  distorted  the  hexagonal  illumination  pattern.  Finally,  even  in  systems  with  adaptive  optics, 

430 

correction for aberrations across the entire biological sample can be challenging. Thus, a single posterior 

431 

correction may not be valid over an entire image. In these cases, we postulate that our method could be 

432 

combined with tiled SIM reconstruction

17

 to account for this spatially variant offset. 

433 

Nevertheless, we demonstrate here that the method performs well for adherent cells where the light sheet 

434 

offset can be considered to be constant across the usable field of view. As these examples have made up the 

435 

majority of use cases for latticeSIM, we envision that our method will be a valuable addition to restore 

436 

image quality even under non-ideal experimental conditions. Furthermore, if we view the axial offset of the 

437 

excitation beam as a phase aberration (e.g. Noll Zernike indices 2 and 3), then we envision that extensions 

438 

of this method may be used to correct for higher-order or even arbitrary phase aberrations in the excitation 

439 

beam  as  long  as  they  can  be  represented  in  a  gallery  of  experimentally  obtained  or  simulated  transfer 

440 

functions  and  used  for  residual  phase  minimization.  This  advancement  would  further  enable  tiled 

441 

reconstruction for latticeSIM experiments in complex 3D specimens. 

442 

Disclosure 

443 

W.R.L. is an author on patents related to Lattice Light Sheet Microscopy and its applications including: 

444 

U.S. Patent #’s: US 11,221,476 B2, and US 10,795,144 B2 issued to W.R.L. and coauthors and assigned to 

445 

Howard Hughes Medical Institute. Y.S. and T.A.D. declare no competing interests.

 

446 

Code and Data Availability 

447 

Due to the inordinate size of the image data (~700GB), it is not currently feasible to deposit this into a 

448 

central repository; however, all datasets underlying the results in this manuscript are available from the 

449 

corresponding author upon request. To the extent possible, the authors will try to meet all requests for data 

450 

sharing within 2 weeks from the original request. 

451 

Code to reproduce the results shown in this manuscript, a small demonstration dataset, and the setting file 

452 

for SIM reconstruction are available at: 

https://github.com/legantlab/SIM_Aligment

 

453 

Acknowledgements 

454 

We thank Eric Betzig for helpful discussion. This work was funded in part by grants from the National 

455 

Institutes of Health (1DP2GM136653) awarded to W.R.L.. W.R.L. acknowledges additional support from 

456 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint 

19 
 

the Searle Scholars program, the Beckman Young Investigator Program, and the Packard Fellowship for 

457 

Science and Engineering. 

458 

Reference 

459 

1.  Legant, W. R. 

et al.

 High-density three-dimensional localization microscopy across large volumes. 

460 

Nat Methods

 

13

, 359–365 (2016). 

461 

2.  Chen, B.-C. 

et al.

 Lattice light-sheet microscopy: Imaging molecules to embryos at high 

462 

spatiotemporal resolution. 

Science

 

346

, 1257998 (2014). 

463 

3.  Sapoznik, E. 

et al.

 A versatile oblique plane microscope for large-scale and high-resolution imaging 

464 

of subcellular dynamics. 

eLife

 

9

, e57681 (2020). 

465 

4.  Shi, Y., Daugird, T. A. & Legant, W. R. A quantitative analysis of various patterns applied in lattice 

466 

light sheet microscopy. 

Nat Commun

 

13

, 4607 (2022). 

467 

5.  Liu, G. 

et al.

 Characterization, comparison, and optimization of lattice light sheets. 

Science Advances

 

468 

9

, eade6623 (2023). 

469 

6.  Li, D. 

et al.

 Extended-resolution structured illumination imaging of endocytic and cytoskeletal 

470 

dynamics. 

Science

 

349

, aab3500 (2015). 

471 

7.  Gustafsson, M. G. L. 

et al.

 Three-Dimensional Resolution Doubling in Wide-Field Fluorescence 

472 

Microscopy by Structured Illumination. 

Biophysical Journal

 

94

, 4957–4970 (2008). 

473 

8.  Karras, C. 

et al.

 Successful optimization of reconstruction parameters in structured illumination 

474 

microscopy – A practical guide. 

Optics Communications

 

436

, 69–75 (2019). 

475 

9.  Royer, L. A. 

et al.

 Adaptive light-sheet microscopy for long-term, high-resolution imaging in living 

476 

organisms. 

Nat Biotechnol

 

34

, 1267–1278 (2016). 

477 

10.  Li, C., Moatti, A., Zhang, X., Ghashghaei, H. T. & Greenbaum, A. Deep learning-based autofocus 

478 

method enhances image quality in light-sheet fluorescence microscopy. 

Biomed. Opt. Express, BOE

 

479 

12

, 5214–5226 (2021). 

480 

11.  Rai, M. R., Li, C., Ghashghaei, H. T. & Greenbaum, A. Deep learning-based adaptive optics for light 

481 

sheet fluorescence microscopy. 

Biomed Opt Express

 

14

, 2905–2919 (2023). 

482 

12.  Malivert, M. 

et al.

 Active image optimization for lattice light sheet microscopy in thick samples. 

483 

Biomed Opt Express

 

13

, 6211–6228 (2022). 

484 

13.  Shao, L. 

et al.

 I5S: Wide-Field Light Microscopy with 100-nm-Scale Resolution in Three 

485 

Dimensions. 

Biophysical Journal

 

94

, 4971–4983 (2008). 

486 

14.  Shao, L., Winoto, L., Agard, D. a., Gustafsson, M. g. l. & Sedat, J. w. Interferometer-based 

487 

structured-illumination microscopy utilizing complementary phase relationship through constructive 

488 

and destructive image detection by two cameras. 

Journal of Microscopy

 

246

, 229–236 (2012). 

489 

15.  dmilkie, Lambert, T. & Shao, L. scopetools/cudadecon: v0.6.2. Zenodo 

490 

https://doi.org/10.5281/zenodo.7659014 (2023). 

491 

16.  Tse, J. R. & Engler, A. J. Preparation of Hydrogel Substrates with Tunable Mechanical Properties. 

492 

Current Protocols in Cell Biology

 

47

, 10.16.1-10.16.16 (2010). 

493 

17.  Hoffman, D. P. & Betzig, E. Tiled Reconstruction Improves Structured Illumination Microscopy. 

494 

2020.01.06.895318 Preprint at https://doi.org/10.1101/2020.01.06.895318 (2020). 

495 

 

496 

 

497 

was not certified by peer review) is the author/funder. All rights reserved. No reuse allowed without permission. 

The copyright holder for this preprint (which

this version posted April 26, 2024. 

; 

https://doi.org/10.1101/2024.04.26.590138

doi: 

bioRxiv preprint