1;
2;  Copyright (c) 2010 The WebM project authors. All Rights Reserved.
3;
4;  Use of this source code is governed by a BSD-style license
5;  that can be found in the LICENSE file in the root of the source
6;  tree. An additional intellectual property rights grant can be found
7;  in the file PATENTS.  All contributing project authors may
8;  be found in the AUTHORS file in the root of the source tree.
9;
10
11
12    EXPORT  |vp8_sixtap_predict8x4_neon|
13    ARM
14    REQUIRE8
15    PRESERVE8
16
17    AREA ||.text||, CODE, READONLY, ALIGN=2
18
19filter8_coeff
20    DCD     0,  0,  128,    0,   0,  0,   0,  0
21    DCD     0, -6,  123,   12,  -1,  0,   0,  0
22    DCD     2, -11, 108,   36,  -8,  1,   0,  0
23    DCD     0, -9,   93,   50,  -6,  0,   0,  0
24    DCD     3, -16,  77,   77, -16,  3,   0,  0
25    DCD     0, -6,   50,   93,  -9,  0,   0,  0
26    DCD     1, -8,   36,  108, -11,  2,   0,  0
27    DCD     0, -1,   12,  123,  -6,   0,  0,  0
28
29;-----------------
30; r0    unsigned char  *src_ptr,
31; r1    int  src_pixels_per_line,
32; r2    int  xoffset,
33; r3    int  yoffset,
34; r4    unsigned char *dst_ptr,
35; stack(r5) int  dst_pitch
36
37|vp8_sixtap_predict8x4_neon| PROC
38    push            {r4-r5, lr}
39
40    adr             r12, filter8_coeff
41    ldr             r4, [sp, #12]           ;load parameters from stack
42    ldr             r5, [sp, #16]           ;load parameters from stack
43
44    cmp             r2, #0                  ;skip first_pass filter if xoffset=0
45    beq             secondpass_filter8x4_only
46
47    add             r2, r12, r2, lsl #5     ;calculate filter location
48
49    cmp             r3, #0                  ;skip second_pass filter if yoffset=0
50
51    vld1.s32        {q14, q15}, [r2]        ;load first_pass filter
52
53    beq             firstpass_filter8x4_only
54
55    sub             sp, sp, #32             ;reserve space on stack for temporary storage
56    vabs.s32        q12, q14
57    vabs.s32        q13, q15
58
59    sub             r0, r0, #2              ;move srcptr back to (line-2) and (column-2)
60    mov             lr, sp
61    sub             r0, r0, r1, lsl #1
62
63    vdup.8          d0, d24[0]              ;first_pass filter (d0-d5)
64    vdup.8          d1, d24[4]
65    vdup.8          d2, d25[0]
66
67;First pass: output_height lines x output_width columns (9x8)
68    vld1.u8         {q3}, [r0], r1          ;load src data
69    vdup.8          d3, d25[4]
70    vld1.u8         {q4}, [r0], r1
71    vdup.8          d4, d26[0]
72    vld1.u8         {q5}, [r0], r1
73    vdup.8          d5, d26[4]
74    vld1.u8         {q6}, [r0], r1
75
76    pld             [r0]
77    pld             [r0, r1]
78    pld             [r0, r1, lsl #1]
79
80    vmull.u8        q7, d6, d0              ;(src_ptr[-2] * vp8_filter[0])
81    vmull.u8        q8, d8, d0
82    vmull.u8        q9, d10, d0
83    vmull.u8        q10, d12, d0
84
85    vext.8          d28, d6, d7, #1         ;construct src_ptr[-1]
86    vext.8          d29, d8, d9, #1
87    vext.8          d30, d10, d11, #1
88    vext.8          d31, d12, d13, #1
89
90    vmlsl.u8        q7, d28, d1             ;-(src_ptr[-1] * vp8_filter[1])
91    vmlsl.u8        q8, d29, d1
92    vmlsl.u8        q9, d30, d1
93    vmlsl.u8        q10, d31, d1
94
95    vext.8          d28, d6, d7, #4         ;construct src_ptr[2]
96    vext.8          d29, d8, d9, #4
97    vext.8          d30, d10, d11, #4
98    vext.8          d31, d12, d13, #4
99
100    vmlsl.u8        q7, d28, d4             ;-(src_ptr[2] * vp8_filter[4])
101    vmlsl.u8        q8, d29, d4
102    vmlsl.u8        q9, d30, d4
103    vmlsl.u8        q10, d31, d4
104
105    vext.8          d28, d6, d7, #2         ;construct src_ptr[0]
106    vext.8          d29, d8, d9, #2
107    vext.8          d30, d10, d11, #2
108    vext.8          d31, d12, d13, #2
109
110    vmlal.u8        q7, d28, d2             ;(src_ptr[0] * vp8_filter[2])
111    vmlal.u8        q8, d29, d2
112    vmlal.u8        q9, d30, d2
113    vmlal.u8        q10, d31, d2
114
115    vext.8          d28, d6, d7, #5         ;construct src_ptr[3]
116    vext.8          d29, d8, d9, #5
117    vext.8          d30, d10, d11, #5
118    vext.8          d31, d12, d13, #5
119
120    vmlal.u8        q7, d28, d5             ;(src_ptr[3] * vp8_filter[5])
121    vmlal.u8        q8, d29, d5
122    vmlal.u8        q9, d30, d5
123    vmlal.u8        q10, d31, d5
124
125    vext.8          d28, d6, d7, #3         ;construct src_ptr[1]
126    vext.8          d29, d8, d9, #3
127    vext.8          d30, d10, d11, #3
128    vext.8          d31, d12, d13, #3
129
130    vmull.u8        q3, d28, d3             ;(src_ptr[1] * vp8_filter[3])
131    vmull.u8        q4, d29, d3
132    vmull.u8        q5, d30, d3
133    vmull.u8        q6, d31, d3
134
135    vqadd.s16       q7, q3                  ;sum of all (src_data*filter_parameters)
136    vqadd.s16       q8, q4
137    vqadd.s16       q9, q5
138    vqadd.s16       q10, q6
139
140    vld1.u8         {q3}, [r0], r1          ;load src data
141
142    vqrshrun.s16    d22, q7, #7             ;shift/round/saturate to u8
143    vqrshrun.s16    d23, q8, #7
144    vqrshrun.s16    d24, q9, #7
145    vqrshrun.s16    d25, q10, #7
146
147    vld1.u8         {q4}, [r0], r1
148    vst1.u8         {d22}, [lr]!            ;store result
149    vld1.u8         {q5}, [r0], r1
150    vst1.u8         {d23}, [lr]!
151    vld1.u8         {q6}, [r0], r1
152    vst1.u8         {d24}, [lr]!
153    vld1.u8         {q7}, [r0], r1
154    vst1.u8         {d25}, [lr]!
155
156    ;first_pass filtering on the rest 5-line data
157    vmull.u8        q8, d6, d0              ;(src_ptr[-2] * vp8_filter[0])
158    vmull.u8        q9, d8, d0
159    vmull.u8        q10, d10, d0
160    vmull.u8        q11, d12, d0
161    vmull.u8        q12, d14, d0
162
163    vext.8          d27, d6, d7, #1         ;construct src_ptr[-1]
164    vext.8          d28, d8, d9, #1
165    vext.8          d29, d10, d11, #1
166    vext.8          d30, d12, d13, #1
167    vext.8          d31, d14, d15, #1
168
169    vmlsl.u8        q8, d27, d1             ;-(src_ptr[-1] * vp8_filter[1])
170    vmlsl.u8        q9, d28, d1
171    vmlsl.u8        q10, d29, d1
172    vmlsl.u8        q11, d30, d1
173    vmlsl.u8        q12, d31, d1
174
175    vext.8          d27, d6, d7, #4         ;construct src_ptr[2]
176    vext.8          d28, d8, d9, #4
177    vext.8          d29, d10, d11, #4
178    vext.8          d30, d12, d13, #4
179    vext.8          d31, d14, d15, #4
180
181    vmlsl.u8        q8, d27, d4             ;-(src_ptr[2] * vp8_filter[4])
182    vmlsl.u8        q9, d28, d4
183    vmlsl.u8        q10, d29, d4
184    vmlsl.u8        q11, d30, d4
185    vmlsl.u8        q12, d31, d4
186
187    vext.8          d27, d6, d7, #2         ;construct src_ptr[0]
188    vext.8          d28, d8, d9, #2
189    vext.8          d29, d10, d11, #2
190    vext.8          d30, d12, d13, #2
191    vext.8          d31, d14, d15, #2
192
193    vmlal.u8        q8, d27, d2             ;(src_ptr[0] * vp8_filter[2])
194    vmlal.u8        q9, d28, d2
195    vmlal.u8        q10, d29, d2
196    vmlal.u8        q11, d30, d2
197    vmlal.u8        q12, d31, d2
198
199    vext.8          d27, d6, d7, #5         ;construct src_ptr[3]
200    vext.8          d28, d8, d9, #5
201    vext.8          d29, d10, d11, #5
202    vext.8          d30, d12, d13, #5
203    vext.8          d31, d14, d15, #5
204
205    vmlal.u8        q8, d27, d5             ;(src_ptr[3] * vp8_filter[5])
206    vmlal.u8        q9, d28, d5
207    vmlal.u8        q10, d29, d5
208    vmlal.u8        q11, d30, d5
209    vmlal.u8        q12, d31, d5
210
211    vext.8          d27, d6, d7, #3         ;construct src_ptr[1]
212    vext.8          d28, d8, d9, #3
213    vext.8          d29, d10, d11, #3
214    vext.8          d30, d12, d13, #3
215    vext.8          d31, d14, d15, #3
216
217    vmull.u8        q3, d27, d3             ;(src_ptr[1] * vp8_filter[3])
218    vmull.u8        q4, d28, d3
219    vmull.u8        q5, d29, d3
220    vmull.u8        q6, d30, d3
221    vmull.u8        q7, d31, d3
222
223    vqadd.s16       q8, q3                  ;sum of all (src_data*filter_parameters)
224    vqadd.s16       q9, q4
225    vqadd.s16       q10, q5
226    vqadd.s16       q11, q6
227    vqadd.s16       q12, q7
228
229    vqrshrun.s16    d26, q8, #7             ;shift/round/saturate to u8
230    vqrshrun.s16    d27, q9, #7
231    vqrshrun.s16    d28, q10, #7
232    vqrshrun.s16    d29, q11, #7                ;load intermediate data from stack
233    vqrshrun.s16    d30, q12, #7
234
235;Second pass: 8x4
236;secondpass_filter
237    add             r3, r12, r3, lsl #5
238    sub             lr, lr, #32
239
240    vld1.s32        {q5, q6}, [r3]          ;load second_pass filter
241    vld1.u8         {q11}, [lr]!
242
243    vabs.s32        q7, q5
244    vabs.s32        q8, q6
245
246    vld1.u8         {q12}, [lr]!
247
248    vdup.8          d0, d14[0]              ;second_pass filter parameters (d0-d5)
249    vdup.8          d1, d14[4]
250    vdup.8          d2, d15[0]
251    vdup.8          d3, d15[4]
252    vdup.8          d4, d16[0]
253    vdup.8          d5, d16[4]
254
255    vmull.u8        q3, d22, d0             ;(src_ptr[-2] * vp8_filter[0])
256    vmull.u8        q4, d23, d0
257    vmull.u8        q5, d24, d0
258    vmull.u8        q6, d25, d0
259
260    vmlsl.u8        q3, d23, d1             ;-(src_ptr[-1] * vp8_filter[1])
261    vmlsl.u8        q4, d24, d1
262    vmlsl.u8        q5, d25, d1
263    vmlsl.u8        q6, d26, d1
264
265    vmlsl.u8        q3, d26, d4             ;-(src_ptr[2] * vp8_filter[4])
266    vmlsl.u8        q4, d27, d4
267    vmlsl.u8        q5, d28, d4
268    vmlsl.u8        q6, d29, d4
269
270    vmlal.u8        q3, d24, d2             ;(src_ptr[0] * vp8_filter[2])
271    vmlal.u8        q4, d25, d2
272    vmlal.u8        q5, d26, d2
273    vmlal.u8        q6, d27, d2
274
275    vmlal.u8        q3, d27, d5             ;(src_ptr[3] * vp8_filter[5])
276    vmlal.u8        q4, d28, d5
277    vmlal.u8        q5, d29, d5
278    vmlal.u8        q6, d30, d5
279
280    vmull.u8        q7, d25, d3             ;(src_ptr[1] * vp8_filter[3])
281    vmull.u8        q8, d26, d3
282    vmull.u8        q9, d27, d3
283    vmull.u8        q10, d28, d3
284
285    vqadd.s16       q7, q3                  ;sum of all (src_data*filter_parameters)
286    vqadd.s16       q8, q4
287    vqadd.s16       q9, q5
288    vqadd.s16       q10, q6
289
290    vqrshrun.s16    d6, q7, #7              ;shift/round/saturate to u8
291    vqrshrun.s16    d7, q8, #7
292    vqrshrun.s16    d8, q9, #7
293    vqrshrun.s16    d9, q10, #7
294
295    vst1.u8         {d6}, [r4], r5          ;store result
296    vst1.u8         {d7}, [r4], r5
297    vst1.u8         {d8}, [r4], r5
298    vst1.u8         {d9}, [r4], r5
299
300    add             sp, sp, #32
301    pop             {r4-r5,pc}
302
303;--------------------
304firstpass_filter8x4_only
305    vabs.s32        q12, q14
306    vabs.s32        q13, q15
307
308    sub             r0, r0, #2              ;move srcptr back to (line-2) and (column-2)
309    vld1.u8         {q3}, [r0], r1          ;load src data
310
311    vdup.8          d0, d24[0]              ;first_pass filter (d0-d5)
312    vld1.u8         {q4}, [r0], r1
313    vdup.8          d1, d24[4]
314    vld1.u8         {q5}, [r0], r1
315    vdup.8          d2, d25[0]
316    vld1.u8         {q6}, [r0], r1
317    vdup.8          d3, d25[4]
318    vdup.8          d4, d26[0]
319    vdup.8          d5, d26[4]
320
321;First pass: output_height lines x output_width columns (4x8)
322    pld             [r0]
323    pld             [r0, r1]
324    pld             [r0, r1, lsl #1]
325
326    vmull.u8        q7, d6, d0              ;(src_ptr[-2] * vp8_filter[0])
327    vmull.u8        q8, d8, d0
328    vmull.u8        q9, d10, d0
329    vmull.u8        q10, d12, d0
330
331    vext.8          d28, d6, d7, #1         ;construct src_ptr[-1]
332    vext.8          d29, d8, d9, #1
333    vext.8          d30, d10, d11, #1
334    vext.8          d31, d12, d13, #1
335
336    vmlsl.u8        q7, d28, d1             ;-(src_ptr[-1] * vp8_filter[1])
337    vmlsl.u8        q8, d29, d1
338    vmlsl.u8        q9, d30, d1
339    vmlsl.u8        q10, d31, d1
340
341    vext.8          d28, d6, d7, #4         ;construct src_ptr[2]
342    vext.8          d29, d8, d9, #4
343    vext.8          d30, d10, d11, #4
344    vext.8          d31, d12, d13, #4
345
346    vmlsl.u8        q7, d28, d4             ;-(src_ptr[2] * vp8_filter[4])
347    vmlsl.u8        q8, d29, d4
348    vmlsl.u8        q9, d30, d4
349    vmlsl.u8        q10, d31, d4
350
351    vext.8          d28, d6, d7, #2         ;construct src_ptr[0]
352    vext.8          d29, d8, d9, #2
353    vext.8          d30, d10, d11, #2
354    vext.8          d31, d12, d13, #2
355
356    vmlal.u8        q7, d28, d2             ;(src_ptr[0] * vp8_filter[2])
357    vmlal.u8        q8, d29, d2
358    vmlal.u8        q9, d30, d2
359    vmlal.u8        q10, d31, d2
360
361    vext.8          d28, d6, d7, #5         ;construct src_ptr[3]
362    vext.8          d29, d8, d9, #5
363    vext.8          d30, d10, d11, #5
364    vext.8          d31, d12, d13, #5
365
366    vmlal.u8        q7, d28, d5             ;(src_ptr[3] * vp8_filter[5])
367    vmlal.u8        q8, d29, d5
368    vmlal.u8        q9, d30, d5
369    vmlal.u8        q10, d31, d5
370
371    vext.8          d28, d6, d7, #3         ;construct src_ptr[1]
372    vext.8          d29, d8, d9, #3
373    vext.8          d30, d10, d11, #3
374    vext.8          d31, d12, d13, #3
375
376    vmull.u8        q3, d28, d3             ;(src_ptr[1] * vp8_filter[3])
377    vmull.u8        q4, d29, d3
378    vmull.u8        q5, d30, d3
379    vmull.u8        q6, d31, d3
380
381    vqadd.s16       q7, q3                  ;sum of all (src_data*filter_parameters)
382    vqadd.s16       q8, q4
383    vqadd.s16       q9, q5
384    vqadd.s16       q10, q6
385
386    vqrshrun.s16    d22, q7, #7             ;shift/round/saturate to u8
387    vqrshrun.s16    d23, q8, #7
388    vqrshrun.s16    d24, q9, #7
389    vqrshrun.s16    d25, q10, #7
390
391    vst1.u8         {d22}, [r4], r5         ;store result
392    vst1.u8         {d23}, [r4], r5
393    vst1.u8         {d24}, [r4], r5
394    vst1.u8         {d25}, [r4], r5
395
396    pop             {r4-r5,pc}
397
398;---------------------
399secondpass_filter8x4_only
400;Second pass: 8x4
401    add             r3, r12, r3, lsl #5
402    sub             r0, r0, r1, lsl #1
403    vld1.s32        {q5, q6}, [r3]          ;load second_pass filter
404    vabs.s32        q7, q5
405    vabs.s32        q8, q6
406
407    vld1.u8         {d22}, [r0], r1
408    vld1.u8         {d23}, [r0], r1
409    vld1.u8         {d24}, [r0], r1
410    vdup.8          d0, d14[0]              ;second_pass filter parameters (d0-d5)
411    vld1.u8         {d25}, [r0], r1
412    vdup.8          d1, d14[4]
413    vld1.u8         {d26}, [r0], r1
414    vdup.8          d2, d15[0]
415    vld1.u8         {d27}, [r0], r1
416    vdup.8          d3, d15[4]
417    vld1.u8         {d28}, [r0], r1
418    vdup.8          d4, d16[0]
419    vld1.u8         {d29}, [r0], r1
420    vdup.8          d5, d16[4]
421    vld1.u8         {d30}, [r0], r1
422
423    vmull.u8        q3, d22, d0             ;(src_ptr[-2] * vp8_filter[0])
424    vmull.u8        q4, d23, d0
425    vmull.u8        q5, d24, d0
426    vmull.u8        q6, d25, d0
427
428    vmlsl.u8        q3, d23, d1             ;-(src_ptr[-1] * vp8_filter[1])
429    vmlsl.u8        q4, d24, d1
430    vmlsl.u8        q5, d25, d1
431    vmlsl.u8        q6, d26, d1
432
433    vmlsl.u8        q3, d26, d4             ;-(src_ptr[2] * vp8_filter[4])
434    vmlsl.u8        q4, d27, d4
435    vmlsl.u8        q5, d28, d4
436    vmlsl.u8        q6, d29, d4
437
438    vmlal.u8        q3, d24, d2             ;(src_ptr[0] * vp8_filter[2])
439    vmlal.u8        q4, d25, d2
440    vmlal.u8        q5, d26, d2
441    vmlal.u8        q6, d27, d2
442
443    vmlal.u8        q3, d27, d5             ;(src_ptr[3] * vp8_filter[5])
444    vmlal.u8        q4, d28, d5
445    vmlal.u8        q5, d29, d5
446    vmlal.u8        q6, d30, d5
447
448    vmull.u8        q7, d25, d3             ;(src_ptr[1] * vp8_filter[3])
449    vmull.u8        q8, d26, d3
450    vmull.u8        q9, d27, d3
451    vmull.u8        q10, d28, d3
452
453    vqadd.s16       q7, q3                  ;sum of all (src_data*filter_parameters)
454    vqadd.s16       q8, q4
455    vqadd.s16       q9, q5
456    vqadd.s16       q10, q6
457
458    vqrshrun.s16    d6, q7, #7              ;shift/round/saturate to u8
459    vqrshrun.s16    d7, q8, #7
460    vqrshrun.s16    d8, q9, #7
461    vqrshrun.s16    d9, q10, #7
462
463    vst1.u8         {d6}, [r4], r5          ;store result
464    vst1.u8         {d7}, [r4], r5
465    vst1.u8         {d8}, [r4], r5
466    vst1.u8         {d9}, [r4], r5
467
468    pop             {r4-r5,pc}
469
470    ENDP
471
472    END
473